Claude Code + Apify, pristup podacima bez prepreka
Claude Code + Apify, pristup podacima bez prepreka
Zdravo svima, ja sam Lu Gong.
Kada koristite Claude Code, posebno u Plan modu, često se javlja potreba za korišćenjem alata WebSearch za prikupljanje podataka sa web stranica. Međutim, često se susrećemo sa situacijom Fetch error.
To je zapravo stari problem. Alati WebFetch i WebSearch koji dolaze sa Claude Code-om su dovoljni za istraživanje i prikupljanje podataka u 80% slučajeva, ali kada naiđete na stranice koje koriste JS za renderovanje, sajtove koji zahtevaju prijavu, ili potrebe za masovnim prikupljanjem podataka, ugrađeni alati ne mogu da izdrže.
Pre nekoliko dana, video sam da je Santiago (@svpino, poznati bloger u oblasti AI/ML) podelio rešenje, rekao je da se može koristiti Claude Code za povlačenje realnih strukturiranih podataka sa bilo koje web stranice, a rezultat je tabela koja se može direktno koristiti, a ne dugački sažetak teksta. Probao sam to i zaista je veoma korisno.
Danas ćemo razgovarati o tome kako dodati sposobnost prikupljanja podataka sa celog interneta u Claude Code, postoje dva puta, birajte prema potrebama.
Nedostaci ugrađenih alata za povezivanje u Claude Code-u
Claude Code dolazi sa dva ugrađena alata za povezivanje: WebSearch koji je odgovoran za pretragu, i WebFetch koji je odgovoran za prikupljanje sadržaja stranica.
WebSearch je prilično jednostavan, date mu pretragu i on vraća relevantne linkove i naslove. WebFetch je malo složeniji, date mu URL i pitanje, on će prikupiti sadržaj stranice, pretvoriti HTML u Markdown pomoću Turndown biblioteke, skratiti na manje od 100KB, a zatim koristiti lagani model (Haiku) da vam sažme.
Jednostavno rečeno, ova dva alata su jednostavna verzija pretraživača. Mogu se koristiti, ali imaju nekoliko ozbiljnih nedostataka.
Najveći problem je što ne mogu da renderuju JS. Sada veliki broj web stranica koristi SPA (jednostrane aplikacije), a sadržaj se dinamički učitava putem JS-a. X/Twitter, mnoge platforme za e-trgovinu, razne SaaS pozadine, WebFetch ne može da prikupi stvarni sadržaj, može samo da dobije praznu školjku.
Sposobnost protiv web scraping-a je takođe gotovo nula. Ne podržava rotaciju proxy-a, ne može da obradi CAPTCHA verifikacije, a kada naiđe na sajtove sa mehanizmima protiv web scraping-a, može samo da odustane.
Još jedan problem je što vraća samo sažetak teksta. Ako želite da dobijete strukturirane podatke (kao što su cene proizvoda, liste komentara korisnika, poređenje funkcija konkurencije), WebFetch to ne može da uradi, uvek vam daje samo skraćeni tekst.
Ova tri nedostatka zajedno čine da Claude Code uvek nedostaje jednostavnost korišćenja kada je u pitanju prikupljanje podataka. Ali sada postoji rešenje.
Metod 1: Apify Agent Skills
Apify je stari cloud crawler platforma koja se bavi prikupljanjem web stranica i automatizacijom već dugi niz godina. Nedavno su lansirali set Agent Skills, jednostavno rečeno, to je skup unapred pripremljenih veština koje uče AI Coding Agent kako da vrši prikupljanje podataka.
GitHub repozitorijum: https://github.com/apify/agent-skills
Ove veštine podržavaju Claude Code, Cursor, Codex, Gemini CLI i druge popularne AI alate za programiranje. Trenutno postoji ukupno 12 veština, koje pokrivaju širok spektar.
Osnovna apify-ultimate-scraper je univerzalna veština za web scraping, može prikupljati podatke sa platformi kao što su Instagram, Facebook, TikTok, YouTube, Google Maps, Google Search itd. Ključna stvar je da vraća strukturirane podatke, koje možete direktno izvesti u CSV ili JSON, i odmah koristiti.
Ostale veštine pokrivaju analizu konkurencije, praćenje reputacije brenda, prikupljanje podataka o e-trgovini, otkrivanje KOL-a, sticanje potencijalnih kupaca, analizu trendova i druge scenarije. Ako se bavite istraživanjem tržišta ili analizom poslovnih podataka, ovaj set je jednostavno čarobno.
Instalacija ovog seta veština u Claude Code-u je takođe veoma jednostavna. Preduslov je da imate Apify nalog (registrujte se na apify.com, postoji besplatna kvota), nakon što dobijete API Token, možete početi sa konfiguracijom.
Instalacija se sastoji od dva koraka. Prvo dodajte izvor tržišta:/plugin marketplace add https://github.com/apify/agent-skills Zatim instalirajte vještine koje su vam potrebne, poput univerzalnog web scraper-a:
/plugin install apify-ultimate-scraper@apify-agent-skills Također možete koristiti univerzalni npx način da instalirate sve vještine odjednom:
npx skills add apify/agent-skills Nakon instalacije, ne zaboravite da u .env datoteci u korijenskom direktoriju projekta postavite svoj API Token:
APIFYTOKEN=vaštoken
Na primjer, prikupljanje podataka o YouTube videozapisima
Ovdje je ključna tačka. Santiago je u tvitovima više puta naglašavao da je osnovna prednost ovog rješenja povrat strukturiranih podataka. Na primjer, ako tražite od Claude Code-a da prikupi listu proizvoda s neke e-trgovine, dobijate organizovanu tabelu (naziv, cijena, ocjena, link), koja se može direktno koristiti za analizu, što je mnogo korisnije od tekstualnog sažetka koji vraća WebFetch.
Apify-ov model naplate je po rezultatu, što znači da se novac naplaćuje samo kada se podaci uspješno prikupe. Međutim, za individualne korisnike, besplatna kvota je dovoljna za mnoge stvari.
Metoda 2: Apify MCP Server
Ako želite fleksibilniju kontrolu, ili ako vještine ne pokrivaju vašu situaciju, postoji drugi put: direktno povezivanje s Apify platformom putem MCP (Model Context Protocol).
Putem Apify MCP Server-a, Claude Code može direktno pozvati hiljade gotovih web scraper-a i automatizovanih alata iz Apify Store-a.
GitHub repozitorij: https://github.com/apify/apify-mcp-server
MCP rješenje nije komplikovano za konfiguraciju. Preporučuje se korištenje hostovane daljinske server metode, jer je konfiguracija najlakša. U vašem MCP konfiguracijskom fajlu dodajte:
{ "mcpServers": { "apify": { "url": "https://mcp.apify.com", "headers": { "Authorization": "Bearer vašAPIFYTOKEN" } } } } Ako više volite lokalno pokretanje, možete koristiti Stdio način:
{ "mcpServers": { "apify-mcp": { "command": "npx", "args": ["-y", "@apify/actors-mcp-server"], "env": { "APIFYTOKEN": "vašAPIFY_TOKEN" } } } } Nakon što je sve podešeno, Claude Code može koristiti alate kao što su search-actors (pretraživanje dostupnih web scraper-a), call-actor (izvršavanje zadatka web scraper-a), get-dataset-items (dobijanje rezultata prikupljanja) itd.
Vještine i MCP metode mogu se instalirati zajedno, a oboje se mogu međusobno dopunjavati.
Ako su vaši zahtjevi česti i scena je fiksna (na primjer, prikupljanje cijena konkurencije svaki dan), korištenje vještina je jednostavnije, unaprijed pripremljeni radni tokovi su spremni za korištenje.
Ako su vaši zahtjevi privremeni i scena se često mijenja (danas prikupljanje sa društvenih mreža, sutra prikupljanje javnih podataka vlade), korištenje MCP-a je fleksibilnije, Apify Store ima više od 15000 Actor-a koji se mogu pozvati u bilo kojem trenutku.
Obje metode imaju isti preduslov: potreban je Apify račun i API Token, kao i Node.js 20.6+ okruženje.
Obavezno obratite pažnju na jedan vremenski trenutak: SSE način prijenosa Apify MCP Server-a biće ukinut 1. aprila 2026. godine, tada će biti potrebno ažurirati na Streamable HTTP način. Ako sada počinjete s konfiguracijom, jednostavno koristite gore preporučenu konfiguraciju, već je to novi način.
