Claude Code + Apify, pristupačno prikupljanje podataka sa celog interneta
Claude Code + Apify, pristupačno prikupljanje podataka sa celog interneta
Zdravo svima, ja sam Lu Gong.
Kada koristite Claude Code, posebno u Plan modu, često se javlja potreba za korišćenjem WebSearch alata za prikupljanje podataka sa veb stranica. Međutim, često se susrećemo sa Fetch error situacijama.
Ovo je zapravo stari problem. Kada koristite ugrađene WebFetch i WebSearch alate u Claude Code-u, za istraživanje i prikupljanje informacija, u 80% slučajeva su dovoljni, ali kada naiđete na stranice koje koriste JS renderovanje, sajtove koji zahtevaju prijavu, ili potrebe za masovnim prikupljanjem podataka, ugrađeni alati ne mogu da izdrže.
Pre nekoliko dana, video sam kako je Santiago (@svpino, poznati bloger u oblasti AI/ML) podelio rešenje, rekao je da se može koristiti Claude Code za povlačenje realnih strukturiranih podataka sa bilo kog sajta, a rezultat je tabela koja se može direktno koristiti, a ne dugački sažetak teksta. Probao sam to i zaista je veoma korisno.
Danas ćemo razgovarati o tome kako dodati sposobnost prikupljanja podataka sa celog interneta u Claude Code, postoje dva puta, izaberite prema potrebi.
Nedostaci ugrađenih alata za povezivanje u Claude Code-u
Claude Code dolazi sa dva ugrađena alata za povezivanje: WebSearch koji je zadužen za pretragu, i WebFetch koji prikuplja sadržaj stranica.
WebSearch je prilično jednostavan, date mu pretragu i on vraća relevantne linkove i naslove. WebFetch je malo složeniji, date mu URL i pitanje, on će prikupiti sadržaj stranice, koristeći Turndown biblioteku da pretvori HTML u Markdown, skraćujući ga na manje od 100KB, a zatim koristi lagani model (Haiku) da vam pomogne da sažmete.
Jednostavno rečeno, ova dva alata su jednostavna verzija pretraživača. Mogu se koristiti, ali imaju nekoliko ozbiljnih nedostataka.
Najveći problem je što ne mogu da renderuju JS. Sada veliki broj sajtova koristi SPA (jednostrane aplikacije), a sadržaj se dinamički učitava putem JS-a. X/Twitter, mnoge e-trgovinske platforme, razni SaaS backend-ovi, WebFetch ne može da prikupi stvarni sadržaj, može samo da dobije praznu školjku.
Sposobnost protiv web scraping-a je takođe praktično nula. Ne podržava rotaciju proxy-a, ne može da obradi CAPTCHA kodove, a kada naiđe na sajtove sa mehanizmima protiv web scraping-a, jednostavno se predaje.
Još jedan problem je što vraća samo tekstualne sažetke. Ako želite da dobijete strukturirane podatke (kao što su tabele cena proizvoda, liste komentara korisnika, poređenje funkcija konkurencije), WebFetch to ne može da uradi, uvek vam daje samo deo komprimovanog teksta.
Ova tri nedostatka zajedno čine da Claude Code uvek nedostaje jednostavnost korišćenja kada je u pitanju prikupljanje podataka. Ali sada postoji rešenje.
Metod 1: Apify Agent Skills
Apify je stari cloud platforma za web scraping, koja se bavi prikupljanjem podataka i automatizacijom već dugi niz godina. Nedavno su lansirali set Agent Skills, jednostavno rečeno, to je skup unapred pripremljenih veština, koje uče AI Coding Agent kako da prikuplja podatke.
GitHub repozitorijum: https://github.com/apify/agent-skills
Ove veštine podržavaju Claude Code, Cursor, Codex, Gemini CLI i druge popularne AI alate za programiranje. Trenutno postoji ukupno 12 veština, koje pokrivaju širok spektar.
Osnovna apify-ultimate-scraper je univerzalna veština za web scraping, koja može prikupljati podatke sa platformi kao što su Instagram, Facebook, TikTok, YouTube, Google Maps, Google Search itd. Ključna stvar je da vraća strukturirane podatke, koje možete direktno izvesti u CSV ili JSON, i odmah ih koristiti.
Ostale veštine pokrivaju analizu konkurencije, praćenje reputacije brenda, prikupljanje podataka o e-trgovini, otkrivanje KOL-a, sticanje potencijalnih kupaca, analizu trendova i druge scenarije. Ako se bavite istraživanjem tržišta ili analizom poslovnih podataka, ovaj set je jednostavno čarobno.
Instalacija ovog seta veština u Claude Code-u je takođe veoma jednostavna. Preduslov je da imate Apify nalog (registrujte se na apify.com, postoji besplatna kvota), nakon što dobijete API Token, možete početi sa konfiguracijom.
Instalacija se sastoji od dva koraka. Prvo dodajte izvor tržišta:/plugin marketplace add https://github.com/apify/agent-skills Zatim instalirajte veštine koje su vam potrebne, kao što je univerzalni web skener:
/plugin install apify-ultimate-scraper@apify-agent-skills Takođe možete koristiti univerzalni npx način da instalirate sve veštine odjednom:
npx skills add apify/agent-skills Nakon instalacije, ne zaboravite da u .env datoteci u korenskom direktorijumu projekta postavite svoj API Token:
APIFYTOKEN=vaštoken
Na primer, za prikupljanje podataka o YouTube video zapisima
Ovde se ističe ključna tačka. Santiago je u tvitovima više puta naglasio da je osnovna prednost ovog rešenja vraćanje strukturiranih podataka. Na primer, ako tražite od Claude Code-a da prikupi listu proizvoda sa neke e-trgovinske platforme, dobićete organizovanu tabelu (naziv proizvoda, cena, ocena, link), koja se može direktno koristiti za analizu, što je mnogo korisnije od tekstualnog sažetka koji vraća WebFetch.
Apify-jev model naplate je po rezultatu, što znači da se novac naplaćuje samo kada se podaci uspešno prikupe. Međutim, za pojedinačne korisnike, besplatna kvota je dovoljna za mnoge stvari.
Metod 2: Apify MCP Server
Ako želite fleksibilniju kontrolu, ili ako veštine ne pokrivaju vašu situaciju, postoji drugi put: direktno povezivanje sa Apify platformom putem MCP (Model Context Protocol).
Kroz Apify MCP Server, Claude Code može direktno pozvati hiljade gotovih skenera i automatizovanih alata iz Apify prodavnice.
GitHub repozitorijum: https://github.com/apify/apify-mcp-server
MCP konfiguracija takođe nije složena. Preporučuje se korišćenje hostovane udaljene server metode, jer je konfiguracija najjednostavnija. U vašem MCP konfiguracionom fajlu dodajte:
{ "mcpServers": { "apify": { "url": "https://mcp.apify.com", "headers": { "Authorization": "Bearer vašAPIFYTOKEN" } } } } Ako više volite lokalno pokretanje, možete koristiti Stdio način:
{ "mcpServers": { "apify-mcp": { "command": "npx", "args": ["-y", "@apify/actors-mcp-server"], "env": { "APIFYTOKEN": "vašAPIFY_TOKEN" } } } } Kada je sve podešeno, Claude Code može koristiti alate kao što su search-actors (pretraživanje dostupnih skenera), call-actor (izvršavanje skener zadatka), get-dataset-items (dobijanje rezultata prikupljanja) itd.
Veštine i MCP metode mogu se instalirati zajedno, a oboje se međusobno dopunjuju.
Ako su vaši zahtevi česti i scena je fiksna (na primer, prikupljanje cena konkurencije svaki dan), korišćenje veština je lakše, jer su unapred pripremljeni radni tokovi spremni za korišćenje.
Ako su vaši zahtevi privremeni i scena se često menja (danas prikupljanje sa društvenih mreža, sutra prikupljanje javnih podataka od vlade), korišćenje MCP je fleksibilnije, jer Apify prodavnica ima više od 15000 Aktera koji se mogu pozvati u bilo kojem trenutku.
Oba načina imaju isti preduslov: potreban je Apify nalog i API Token, kao i Node.js 20.6+ okruženje.
Obavezno obratite pažnju na jedan vremenski okvir: SSE način prenosa Apify MCP Server-a biće ukinut 1. aprila 2026. godine, a tada će biti potrebno ažurirati na Streamable HTTP način. Ako sada počinjete sa konfiguracijom, jednostavno koristite preporučenu konfiguraciju iznad, već je to novi način.
