Claude Code + Apify, tilgængelig dataindsamling fra hele nettet
Claude Code + Apify, tilgængelig dataindsamling fra hele nettet
Hej alle sammen, jeg er Lu Gong.
Når folk bruger Claude Code, især i Plan mode, har de ofte behov for at bruge WebSearch-værktøjet til at indsamle webdata. Men der opstår ofte Fetch error.
Dette er faktisk et gammelt problem. Med de indbyggede WebFetch og WebSearch værktøjer i Claude Code er det tilstrækkeligt til at søge information og lave undersøgelser i 80% af scenarierne, men når man støder på JS-renderede sider, krævede login-websteder eller behov for storstilet dataindsamling, kan de indbyggede værktøjer ikke klare det.
For et par dage siden så jeg, at Santiago (@svpino, en kendt blogger inden for AI/ML) delte en løsning, hvor han sagde, at man kan bruge Claude Code til at hente realtids strukturerede data fra enhver hjemmeside, og det returneres i et format, der kan bruges direkte, ikke bare en lang tekstsamling. Jeg prøvede det, og det fungerer virkelig godt.
I dag vil jeg tale om, hvordan man giver Claude Code evnen til at indsamle data fra hele nettet, to veje at vælge imellem efter behov.
Claude Codes indbyggede netværksværktøjs begrænsninger
Claude Code har to indbyggede netværksværktøjer: WebSearch til søgning og WebFetch til at indsamle sideindhold.
WebSearch er ret enkelt; du giver det et søgeord, og det returnerer relevante links og titler. WebFetch er lidt mere kompleks; du giver det en URL og et spørgsmål, og det vil indsamle sideindhold, konvertere HTML til Markdown ved hjælp af Turndown-biblioteket, afkorte det til under 100KB, og derefter bruge en letvægtsmodel (Haiku) til at opsummere.
Kort sagt, disse to værktøjer fungerer som en simpel browser. De kan bruges, men har nogle alvorlige mangler.
Det største problem er, at de ikke kan gengive JS. Mange websteder er nu SPA (Single Page Applications), hvor indholdet indlæses dynamisk via JS. X/Twitter, mange e-handelsplatforme og forskellige SaaS-backends kan WebFetch ikke hente det faktiske indhold fra, det kan kun få fat i en tom skal.
Anti-scraping kapaciteten er også stort set nul. Det understøtter ikke proxy-rotation, kan ikke håndtere CAPTCHA-koder, og når det støder på websteder med anti-scraping mekanismer, kan det kun give op.
En anden smertepunkt er, at det kun returnerer tekstresuméer. Hvis du ønsker at få strukturerede data (f.eks. produktprislister, brugerkommentarer, sammenligning af konkurrenters funktioner), kan WebFetch ikke gøre det; det giver dig altid en komprimeret tekst.
Disse tre begrænsninger samlet set gør, at Claude Code altid mangler brugervenlighed i dataindsamling. Men nu er der en løsning.
Metode 1: Apify Agent Skills
Apify er en velkendt cloud-baseret webcrawler platform, der har arbejdet med webindsamling og automatisering i mange år. For nylig har de lanceret en række Agent Skills, som kort sagt er en samling af foruddefinerede færdigheder, der lærer AI Coding Agent, hvordan man indsamler data.
GitHub repository adresse: https://github.com/apify/agent-skills
Denne samling af Skills understøtter Claude Code, Cursor, Codex, Gemini CLI og andre mainstream AI-programmeringsværktøjer. I øjeblikket er der i alt 12 færdigheder, der dækker et bredt område.
Den centrale apify-ultimate-scraper er en alsidig crawler-færdighed, der kan indsamle data fra platforme som Instagram, Facebook, TikTok, YouTube, Google Maps, Google Search osv. Nøglen er, at det returnerer strukturerede data, som kan eksporteres direkte til CSV eller JSON, klar til brug.
Andre færdigheder dækker scenarier som konkurrentanalyse, overvågning af brandomdømme, dataindsamling fra e-handel, KOL-opdagelse, leadgenerering, trendanalyse osv. Hvis du laver markedsundersøgelser eller forretningsdataanalyse, er denne samling simpelthen fantastisk.
At installere denne samling af Skills i Claude Code er også meget nemt. Forudsætningen er, at du har en Apify-konto (tilmeld dig på apify.com, der er gratis kvoter), og når du har fået API-token, kan du begynde at konfigurere.
Installation er opdelt i to trin. Først tilføj markedskilde:/plugin marketplace add https://github.com/apify/agent-skills installere de færdigheder, du har brug for, såsom universel webcrawler:
/plugin install apify-ultimate-scraper@apify-agent-skills Du kan også bruge den generelle npx metode til at installere alle færdigheder på én gang:
npx skills add apify/agent-skills Efter installationen, glem ikke at konfigurere din API Token i .env filen i projektets rodmappe:
APIFYTOKEN=din token
For eksempel indsamling af Youtube video data
Her er et nøglepunkt. Santiago understreger gentagne gange i tweets, at den centrale fordel ved denne løsning er, at den returnerer strukturerede data. For eksempel, hvis du beder Claude Code om at indsamle produktlister fra en e-handelsplatform, får du et organiseret regneark (produktnavn, pris, vurdering, link), som kan bruges direkte til analyse, hvilket er meget mere nyttigt end den tekstbaserede opsummering, som WebFetch returnerer.
Apifys betalingsmodel er baseret på resultater, hvilket betyder, at du kun betaler, når du har indsamlet data med succes. Men for individuelle brugere er den gratis kvote tilstrækkelig til at udføre mange opgaver.
Metode to: Apify MCP Server
Hvis du ønsker mere fleksibel kontrol, eller hvis Skills ikke dækker dit scenarie, er der en anden vej: direkte tilslutning til Apify-platformen via MCP (Model Context Protocol).
Gennem Apify MCP Server kan Claude Code direkte kalde tusindvis af færdige crawlers og automatiseringsværktøjer fra Apify Store.
GitHub repository adresse: https://github.com/apify/apify-mcp-server
MCP konfigurationen er heller ikke kompliceret. Det anbefales at bruge en hostet fjernserver, da det er den nemmeste konfiguration. Tilføj følgende til din MCP konfigurationsfil:
{ "mcpServers": { "apify": { "url": "https://mcp.apify.com", "headers": { "Authorization": "Bearer din APIFYTOKEN" } } } } Hvis du foretrækker at køre lokalt, kan du bruge Stdio metoden:
{ "mcpServers": { "apify-mcp": { "command": "npx", "args": ["-y", "@apify/actors-mcp-server"], "env": { "APIFYTOKEN": "din APIFYTOKEN" } } } } Når det er konfigureret, kan Claude Code kalde værktøjer som search-actors (søge efter tilgængelige crawlers), call-actor (udføre crawler opgaver), get-dataset-items (hente indsamlede resultater) osv.
Både Skills og MCP metoder kan installeres, og de kan supplere hinanden.
Hvis dit behov er hyppigt og scenariet er fast (for eksempel at indsamle konkurrentpriser dagligt), er det mere bekvemt at bruge Skills, da de foruddefinerede arbejdsgange er klar til brug.
Hvis dit behov er midlertidigt og scenariet varierer (i dag indsamle sociale medier, i morgen indsamle offentlige data fra regeringen), er MCP mere fleksibelt, da Apify Store har over 15000 Actors, der kan kaldes når som helst.
For begge metoder gælder det samme krav: du skal have en Apify konto og API Token, samt en Node.js 20.6+ miljø.
Vær opmærksom på et tidspunkt: Apify MCP Servers SSE transmissionsmetode vil blive afskaffet den 1. april 2026, og du skal opdatere til Streamable HTTP metoden. Hvis du starter konfigurationen nu, kan du bruge den anbefalede konfiguration ovenfor, da det allerede er den nye metode.
