Claude Code + Apify, prieiga prie visų interneto duomenų
Claude Code + Apify, prieiga prie visų interneto duomenų
Sveiki visi, aš esu Lu Gong.
Kai naudojate Claude Code, ypač Plan režimu, dažnai kyla poreikis pasinaudoti WebSearch įrankiu, kad gautumėte interneto duomenis. Tačiau dažnai susiduriama su Fetch error situacijomis.
Tai iš tikrųjų yra sena problema. Naudojant Claude Code įmontuotus WebFetch ir WebSearch įrankius, informacijos paieškai ir tyrimams, 80% atvejų to pakanka, tačiau susidūrus su JS renderinimo puslapiais, reikalaujančiais prisijungimo svetainėmis, arba didelio masto duomenų rinkimo poreikiais, įmontuoti įrankiai nebeatlaiko.
Prieš kelias dienas, anksčiau mačiau, kaip Santiago (@svpino, žinomas AI/ML srities tinklaraštininkas) pasidalino sprendimu, jis sakė, kad galima naudoti Claude Code, kad gautumėte realaus laiko struktūrizuotus duomenis iš bet kurios svetainės, grąžinami duomenys yra tiesiogiai naudojami lentelėse, o ne didelėje teksto santraukoje. Išbandžiau, ir tikrai labai gerai veikia.
Šiandien pakalbėsime, kaip suteikti Claude Code galimybę rinkti duomenis iš viso interneto, dviem keliais, pasirinkite pagal poreikį.
Claude Code įmontuotų interneto įrankių trūkumai
Claude Code turi du įmontuotus interneto įrankius: WebSearch, kuris atsakingas už paiešką, ir WebFetch, kuris atsakingas už puslapio turinio gavimą.
WebSearch yra gana paprastas, jūs jam pateikiate paieškos žodį, jis grąžina susijusias nuorodas ir pavadinimus. WebFetch yra šiek tiek sudėtingesnis, jūs jam pateikiate URL ir klausimą, jis gaus puslapio turinį, naudodamas Turndown biblioteką, pavers HTML į Markdown, sutrumpins iki 100KB ir tada naudos lengvą modelį (Haiku), kad padėtų jums apibendrinti.
Pasakykime tiesiai, šie du įrankiai yra paprasta naršyklės versija. Jie veikia, tačiau turi keletą rimtų trūkumų.
Didžiausia problema yra ta, kad jie negali renderinti JS. Dabar dauguma svetainių yra SPA (vieno puslapio programos), turinys priklauso nuo JS dinaminio įkėlimo. X/Twitter, daugelis elektroninės prekybos platformų, įvairios SaaS sistemos, WebFetch negali gauti tikro turinio, gali gauti tik tuščią apvalkalą.
Antikopijavimo galimybės taip pat yra beveik nulinės. Nepalaiko proxy rotacijos, negali apdoroti CAPTCHA kodų, susidūrus su svetainėmis, turinčiomis antikopijavimo mechanizmus, tiesiog negali nieko padaryti.
Dar vienas skausmo taškas yra tas, kad jis grąžina tik teksto santraukas. Jei norite gauti struktūrizuotus duomenis (pavyzdžiui, prekių kainų sąrašą, vartotojų atsiliepimų sąrašą, konkurentų funkcijų palyginimą), WebFetch to negali padaryti, jis visada pateiks jums sutrumpintą tekstą.
Šie trys trūkumai kartu padaro Claude Code duomenų rinkimo srityje visada trūksta patogumo. Tačiau dabar yra sprendimas.
Metodas 1: Apify Agent Skills
Apify yra senas debesų svetainių rinkimo platforma, kuri daugelį metų užsiima interneto duomenų rinkimu ir automatizavimu. Neseniai jie pristatė Agent Skills rinkinį, paprastai tariant, tai yra grupė paruoštų įgūdžių paketų, kurie moko AI Coding Agent, kaip atlikti duomenų rinkimą.
GitHub saugyklos adresas: https://github.com/apify/agent-skills
Šis rinkinys palaiko Claude Code, Cursor, Codex, Gemini CLI ir kitus populiarius AI programavimo įrankius. Šiuo metu yra 12 įgūdžių, kurie apima gana platų spektrą.
Pagrindinis apify-ultimate-scraper yra universali svetainių rinkimo įgūdžių rinkinys, galintis rinkti duomenis iš Instagram, Facebook, TikTok, YouTube, Google Maps, Google Search ir kitų platformų. Svarbiausia, kad jis grąžina struktūrizuotus duomenis, kuriuos galima tiesiogiai eksportuoti į CSV arba JSON, ir juos galima naudoti iš karto.
Kiti įgūdžiai apima konkurentų analizę, prekės ženklo reputacijos stebėjimą, elektroninės prekybos duomenų rinkimą, KOL atradimą, potencialių klientų gavimą, tendencijų analizę ir kt. Jei dirbate rinkos tyrimuose arba verslo duomenų analizėje, šis rinkinys yra tiesiog stebuklingas.
Įdiegti šį rinkinį Claude Code taip pat labai patogu. Pirmiausia reikia turėti Apify paskyrą (užsiregistruokite apify.com, yra nemokama kvota), gavę API Token galite pradėti konfigūruoti.
Įdiegimas susideda iš dviejų žingsnių. Pirmiausia pridėkite rinkos šaltinį:/plugin marketplace add https://github.com/apify/agent-skills Įdiekite jums reikalingas įgūdžius, pavyzdžiui, universalią voratinklį:
/plugin install apify-ultimate-scraper@apify-agent-skills Taip pat galite naudoti bendrą npx būdą, kad vienu metu įdiegtumėte visus įgūdžius:
npx skills add apify/agent-skills Po įdiegimo nepamirškite savo API žetoną sukonfigūruoti projekto šakniniame kataloge esančiame .env faile:
APIFYTOKEN= jūsų token
Pavyzdžiui, gauti Youtube vaizdo įrašų duomenis
Čia yra svarbus momentas. Santiago nuolat pabrėžia savo tviteryje, kad šio sprendimo pagrindinis pranašumas yra grąžinami struktūrizuoti duomenys. Pavyzdžiui, jei paprašysite Claude Code gauti tam tikro el. prekybos platformos prekių sąrašą, gausite tvarkingą lentelę (pavadinimas, kaina, įvertinimas, nuoroda), kurią galima tiesiogiai naudoti analizei, tai yra daug naudingiau nei WebFetch grąžinamas tekstinis santrauka.
Apify apmokestinimo modelis yra mokėjimas už rezultatus, tai reiškia, kad pinigai bus nuskaičiuoti tik tada, kai sėkmingai gausite duomenis. Tačiau asmeniniams vartotojams nemokama kvota yra pakankama daugeliui užduočių.
Antras metodas: Apify MCP Server
Jei norite lankstesnio valdymo, arba jei Įgūdžiai neapima jūsų scenarijaus, yra antras kelias: tiesiogiai prisijungti prie Apify platformos per MCP (Model Context Protocol).
Per Apify MCP Server, Claude Code gali tiesiogiai pasiekti tūkstančius paruoštų voratinklių ir automatizavimo įrankių Apify Store.
GitHub saugyklos adresas: https://github.com/apify/apify-mcp-server
MCP sprendimo konfigūracija taip pat nėra sudėtinga. Rekomenduojame naudoti valdomą nuotolinį serverį, konfigūracija bus paprasčiausia. Į savo MCP konfigūracijos failą pridėkite:
{ "mcpServers": { "apify": { "url": "https://mcp.apify.com", "headers": { "Authorization": "Bearer jūsų APIFYTOKEN" } } } } Jei labiau mėgstate vietinį paleidimą, galite naudoti Stdio būdą:
{ "mcpServers": { "apify-mcp": { "command": "npx", "args": ["-y", "@apify/actors-mcp-server"], "env": { "APIFYTOKEN": "jūsų APIFYTOKEN" } } } } Po konfigūravimo, Claude Code galės naudoti tools, tokius kaip search-actors (paieška galimų voratinklių), call-actor (voratinklio užduoties vykdymas), get-dataset-items (gauti surinktus rezultatus) ir kt.
Įgūdžius ir MCP metodą galima įdiegti abu, jie gali papildyti vienas kitą.
Jei jūsų poreikiai yra dažni ir scenarijus fiksuotas (pavyzdžiui, kasdien gauti konkurentų kainas), naudojant Įgūdžius bus lengviau, paruošti darbo srautai yra paruošti naudoti.
Jei jūsų poreikiai yra laikini ir scenarijus kintantis (šiandien gauti socialinės žiniasklaidos duomenis, rytoj gauti vyriausybes viešus duomenis), naudojant MCP bus lankstesnis, Apify Store yra daugiau nei 15000 Aktorių, kuriuos galima bet kada pasiekti.
Abiejų metodų prielaida yra ta pati: reikia Apify paskyros ir API žetono, reikia Node.js 20.6+ aplinkos.
Būtina atkreipti dėmesį į vieną laiko momentą: Apify MCP Server SSE perdavimo būdas bus nutrauktas 2026 m. balandžio 1 d., tuo metu reikės atnaujinti į Streamable HTTP būdą. Jei dabar pradedate konfigūruoti, tiesiog naudokite aukščiau rekomenduotą konfigūraciją, ji jau yra naujas būdas.
