Claude Code + Apify, pristup podacima s cijelog interneta bez prepreka
Claude Code + Apify, pristup podacima s cijelog interneta bez prepreka
Pozdrav svima, ja sam Lu Gong.
Kada koristite Claude Code, posebno u Plan modu, često postoji potreba za korištenjem alata WebSearch za prikupljanje podataka s web stranica. No, često se susrećemo s problemom Fetch error.
Ovo je zapravo stari problem. Alati WebFetch i WebSearch koji dolaze s Claude Code-om su dovoljni za istraživanje i prikupljanje podataka u 80% slučajeva, ali kada naiđete na stranice koje koriste JS za renderiranje, stranice koje zahtijevaju prijavu ili potrebe za masovnim prikupljanjem podataka, ugrađeni alati ne mogu izdržati.
Prije nekoliko dana, vidio sam kako je Santiago (@svpino, poznati bloger u području AI/ML) podijelio rješenje. Rekao je da se može koristiti Claude Code za povlačenje stvarnih strukturiranih podataka s bilo koje web stranice, a rezultat je tablica koja se može odmah koristiti, a ne dugački sažetak teksta. Isprobao sam to i zaista je dobro funkcioniralo.
Danas ću razgovarati o tome kako dodati mogućnost prikupljanja podataka s cijelog interneta u Claude Code, postoje dva puta, odaberite prema potrebi.
Nedostaci ugrađenih alata za povezivanje u Claude Code-u
Claude Code dolazi s dva alata za povezivanje: WebSearch koji je odgovoran za pretraživanje i WebFetch koji je odgovoran za prikupljanje sadržaja stranica.
WebSearch je prilično jednostavan, date mu pretraživačku riječ i on vraća relevantne poveznice i naslove. WebFetch je malo složeniji, date mu URL i pitanje, on će prikupiti sadržaj stranice, pretvoriti HTML u Markdown pomoću Turndown biblioteke, skratiti ga na manje od 100KB, a zatim koristiti lagani model (Haiku) da vam sažme.
Rečeno jednostavno, ova dva alata su jednostavna verzija preglednika. Mogu se koristiti, ali imaju nekoliko ozbiljnih nedostataka.
Najveći problem je što ne mogu renderirati JS. Sada mnoge web stranice koriste SPA (jednostrane aplikacije), a sadržaj se dinamički učitava putem JS-a. X/Twitter, mnoge e-trgovine, razne SaaS platforme, WebFetch ne može prikupiti stvarni sadržaj, može samo dobiti praznu ljusku.
Sposobnost borbe protiv botova također je praktički nula. Ne podržava rotaciju proxyja, ne može obraditi CAPTCHA kodove, a kada naiđe na web stranice s mehanizmima protiv botova, jednostavno se ne može nositi.
Još jedan problem je što vraća samo sažetak teksta. Ako želite dobiti strukturirane podatke (kao što su tablice cijena proizvoda, popisi korisničkih recenzija, usporedbe funkcija konkurencije), WebFetch to ne može učiniti, uvijek vam daje samo sažetak teksta.
Ova tri nedostatka zajedno čine da Claude Code uvijek nedostaje jednostavnosti korištenja kada je u pitanju prikupljanje podataka. No, sada postoji rješenje.
Metoda 1: Apify Agent Skills
Apify je stari oblačni platforma za web scraping, koja se bavi prikupljanjem podataka i automatizacijom već dugi niz godina. Nedavno su lansirali set Agent Skills, jednostavno rečeno, to je skup unaprijed pripremljenih vještina koje podučavaju AI Coding Agent kako prikupljati podatke.
Adresa GitHub repozitorija: https://github.com/apify/agent-skills
Ove vještine podržavaju Claude Code, Cursor, Codex, Gemini CLI i druge popularne AI alate za programiranje. Trenutno postoji 12 vještina, koje pokrivaju širok spektar.
Ključna apify-ultimate-scraper je svestrana vještina za web scraping koja može prikupljati podatke s platformi kao što su Instagram, Facebook, TikTok, YouTube, Google Maps, Google Search itd. Ključna stvar je da vraća strukturirane podatke koje možete izvesti u CSV ili JSON, spremne za korištenje.
Ostale vještine pokrivaju analizu konkurencije, praćenje reputacije brenda, prikupljanje podataka o e-trgovini, otkrivanje KOL-a, stjecanje potencijalnih kupaca, analizu trendova i druge scenarije. Ako se bavite istraživanjem tržišta ili analizom poslovnih podataka, ovaj set je jednostavno čarolija.
Instalacija ovog seta vještina u Claude Code-u također je vrlo jednostavna. Preduvjet je imati Apify račun (registrirajte se na apify.com, postoji besplatna kvota), nakon što dobijete API Token, možete početi s konfiguracijom.
Instalacija se sastoji od dva koraka. Prvo dodajte izvor tržišta:/plugin marketplace add https://github.com/apify/agent-skills Zatim instalirajte potrebne vještine, poput univerzalnog web scraper-a:
/plugin install apify-ultimate-scraper@apify-agent-skills Također možete koristiti univerzalni npx način da instalirate sve vještine odjednom:
npx skills add apify/agent-skills Nakon instalacije, ne zaboravite u .env datoteci u korijenskom direktoriju projekta postaviti svoj API Token:
APIFYTOKEN=vaštoken
Na primjer, prikupljanje podataka o YouTube videozapisima
Ovdje je ključna točka. Santiago je u tweetovima više puta naglasio da je osnovna prednost ovog rješenja vraćanje strukturiranih podataka. Na primjer, ako zatražite od Claude Code-a da prikupi popis proizvoda s neke e-trgovine, dobit ćete organiziranu tablicu (naziv, cijena, ocjena, poveznica), koja se može odmah koristiti za analizu, što je mnogo korisnije od tekstualnog sažetka koji vraća WebFetch.
Apify-jev model naplate temelji se na rezultatima, što znači da se novac naplaćuje samo kada se podaci uspješno prikupe. Međutim, za osobne korisnike, besplatna kvota je dovoljna za mnoge stvari.
Metoda 2: Apify MCP Server
Ako želite fleksibilniju kontrolu ili ako vaša scena nije pokrivena vještinama, postoji drugi put: izravno povezivanje s Apify platformom putem MCP-a (Model Context Protocol).
Putem Apify MCP Server-a, Claude Code može izravno pozvati tisuće gotovih web scraper-a i automatiziranih alata u Apify Store-u.
GitHub repozitorij: https://github.com/apify/apify-mcp-server
Konfiguracija MCP rješenja također nije složena. Preporučuje se korištenje hostane udaljene server metode, konfiguracija je najjednostavnija. U vašu MCP konfiguracijsku datoteku dodajte:
{ "mcpServers": { "apify": { "url": "https://mcp.apify.com", "headers": { "Authorization": "Bearer vašAPIFYTOKEN" } } } } Ako više volite lokalno pokretanje, možete koristiti Stdio način:
{ "mcpServers": { "apify-mcp": { "command": "npx", "args": ["-y", "@apify/actors-mcp-server"], "env": { "APIFYTOKEN": "vašAPIFY_TOKEN" } } } }` Nakon što je sve postavljeno, Claude Code može koristiti alate kao što su search-actors (pretraživanje dostupnih web scraper-a), call-actor (izvršavanje zadatka web scraper-a), get-dataset-items (dobivanje rezultata prikupljanja) itd.
Vještine i MCP metode mogu se instalirati zajedno, oboje se međusobno dopunjuju.
Ako su vaši zahtjevi visoke frekvencije i fiksne scene (na primjer, prikupljanje cijena konkurencije svaki dan), korištenje vještina je jednostavnije, unaprijed pripremljeni radni tokovi su spremni za korištenje.
Ako su vaši zahtjevi privremeni i scena se često mijenja (danas prikupljanje s društvenih mreža, sutra prikupljanje javnih podataka vlade), MCP je fleksibilniji, Apify Store ima više od 15000 Aktera koji se mogu pozvati u bilo kojem trenutku.
Obje metode imaju isti preduvjet: potreban je Apify račun i API Token, potrebna je Node.js 20.6+ okruženje.
Obavezno obratite pažnju na jedan vremenski okvir: SSE način prijenosa Apify MCP Server-a bit će ukinut 1. travnja 2026., tada će biti potrebno ažurirati na Streamable HTTP način. Ako sada počinjete s konfiguracijom, jednostavno koristite gore preporučenu konfiguraciju, to je već novi način.
