Claude Code + Apify, tillgänglig datainsamling från hela nätet

Hej alla, jag är Lu Gong.

När ni använder Claude Code, särskilt i Plan-läget, har ni ofta behov av att använda WebSearch-verktyget för att hämta webbdata. Men ni stöter ofta på Fetch error.

Detta är faktiskt ett gammalt problem. Med Claude Codes inbyggda WebFetch och WebSearch-verktyg är det tillräckligt för att söka information och göra forskning i 80% av scenarierna, men när det kommer till JS-renderade sidor, inloggningskrav eller behov av storskalig datainsamling, klarar inte de inbyggda verktygen av det.

För några dagar sedan såg jag att Santiago (@svpino, en känd bloggare inom AI/ML) delade en lösning där han sa att man kan använda Claude Code för att hämta realtids strukturerad data från vilken webbplats som helst, och det returneras i ett format som kan användas direkt, inte som en lång textsammanfattning. Jag testade det och det fungerade verkligen bra.

Idag ska vi prata om hur man ger Claude Code förmågan att samla in data från hela nätet, två vägar att välja mellan efter behov.

Claude Codes inbyggda nätverksverktygs begränsningar

Claude Code har två inbyggda nätverksverktyg: WebSearch ansvarar för sökning, WebFetch ansvarar för att hämta sidinnehåll.

WebSearch är ganska enkelt, du ger det ett sökord och det returnerar relevanta länkar och titlar. WebFetch är lite mer komplicerat, du ger det en URL och en fråga, det kommer att hämta sidinnehållet, konvertera HTML till Markdown med hjälp av Turndown-biblioteket, klippa ner till 100KB och sedan använda en lätt modell (Haiku) för att sammanfatta.

För att säga det enkelt, dessa två verktyg är en enkel version av en webbläsare. De fungerar, men har flera allvarliga brister.

Det största problemet är att de inte kan rendera JS. Nu för tiden är många webbplatser SPA (enkel sidas applikation), där innehållet laddas dynamiskt med JS. X/Twitter, många e-handelsplattformar, olika SaaS-backends, WebFetch kan inte hämta det faktiska innehållet, utan får bara en tom skal.

Dessutom är dess anti-scraping-funktioner i stort sett obefintliga. Det stöder inte proxyrotation, kan inte hantera CAPTCHA-koder, och när det stöter på webbplatser med anti-scraping-mekanismer kan det bara ge upp.

En annan smärtpunkts är att det bara returnerar textsammanfattningar. Om du vill få strukturerad data (som produktpriser, användarrecensioner, jämförelse av konkurrenters funktioner) kan WebFetch inte göra det, det ger dig alltid en komprimerad text.

Dessa tre begränsningar tillsammans gör att Claude Code alltid saknar användarvänlighet när det gäller datainsamling. Men nu finns det en lösning.

Metod 1: Apify Agent Skills

Apify är en gammal molnbaserad web scraping-plattform som har sysslat med webbskrapning och automatisering i många år. Nyligen lanserade de en uppsättning Agent Skills, enkelt uttryckt en uppsättning förgjorda färdigheter som lär AI Coding Agent hur man gör datainsamling.

GitHub-repo: https://github.com/apify/agent-skills

Denna uppsättning Skills stöder Claude Code, Cursor, Codex, Gemini CLI och andra populära AI-programmeringsverktyg. För närvarande finns det totalt 12 färdigheter som täcker ett brett spektrum.

Den centrala apify-ultimate-scraper är en universell skrapningsfärdighet som kan hämta data från plattformar som Instagram, Facebook, TikTok, YouTube, Google Maps, Google Search, etc. Nyckeln är att den returnerar strukturerad data som kan exporteras direkt till CSV eller JSON, redo att användas.

Andra färdigheter täcker scenarier som konkurrentanalys, varumärkesövervakning, e-handelsdatainsamling, KOL-upptäckter, potentiella kunders förvärv, trendanalys, etc. Om du gör marknadsundersökningar eller affärsdataanalys är denna uppsättning helt fantastisk.

Att installera denna uppsättning Skills i Claude Code är också mycket enkelt. Förutsättningen är att du behöver ett Apify-konto (registrera dig på apify.com, det finns gratis kvoter), och efter att ha fått API-token kan du börja konfigurera.

Installationen består av två steg. Först lägg till marknadskällor: /plugin marketplace add https://github.com/apify/agent-skills Installera de färdigheter du behöver, som den universella webcrawlern:

/plugin install apify-ultimate-scraper@apify-agent-skills Du kan också använda det generiska npx-sättet för att installera alla färdigheter på en gång:

npx skills add apify/agent-skills Efter installationen, glöm inte att konfigurera din API-token i .env-filen i projektets rotmapp:

APIFYTOKEN=din token

Till exempel, hämta Youtube videodata

Här är en viktig punkt. Santiago betonar upprepade gånger i sina tweets att den centrala fördelen med denna lösning är att den returnerar strukturerad data. Till exempel, om du ber Claude Code att hämta produktlistan från en e-handelsplattform, får du en organiserad tabell (produktnamn, pris, betyg, länk) som kan användas direkt för analys, vilket är mycket mer användbart än den textsammanfattning som WebFetch returnerar.

Apifys betalningsmodell är resultatbaserad, vilket betyder att du bara debiteras om du framgångsrikt hämtar data. Men för personliga användare är den kostnadsfria kvoten tillräcklig för att göra en hel del.

Metod två: Apify MCP Server

Om du vill ha mer flexibel kontroll, eller om Skills inte täcker ditt scenario, finns det en andra väg: anslut direkt till Apify-plattformen via MCP (Model Context Protocol).

Genom Apify MCP Server kan Claude Code direkt anropa tusentals färdiga crawlers och automatiseringsverktyg i Apify Store.

GitHub-repoadress: https://github.com/apify/apify-mcp-server

MCP-lösningens konfiguration är inte komplicerad. Det rekommenderas att använda en hanterad fjärrserverlösning, vilket är enklast. Lägg till följande i din MCP-konfigurationsfil:

{ "mcpServers": { "apify": { "url": "https://mcp.apify.com", "headers": { "Authorization": "Bearer din APIFYTOKEN" } } } } Om du föredrar att köra lokalt kan du använda Stdio-metoden:

{ "mcpServers": { "apify-mcp": { "command": "npx", "args": ["-y", "@apify/actors-mcp-server"], "env": { "APIFYTOKEN": "din APIFYTOKEN" } } } } När du har konfigurerat detta kan Claude Code använda verktyg som search-actors (söka efter tillgängliga crawlers), call-actor (utföra crawler-uppgifter), get-dataset-items (hämta insamlade resultat) och så vidare.

Både Skills och MCP-metoden kan installeras, och de kan komplettera varandra.

Om dina behov är frekventa och scenarierna är fasta (till exempel att hämta konkurrentpriser en gång om dagen), är det mer bekvämt att använda Skills, eftersom de förberedda arbetsflödena är klara att använda.

Om dina behov är tillfälliga och scenarierna varierar (idag hämta sociala medier, imorgon hämta offentlig data från regeringen), är MCP mer flexibelt, och Apify Store har över 15000 Actors som kan anropas när som helst.

Båda metoderna har samma förutsättningar: du behöver ett Apify-konto och en API-token, samt en Node.js 20.6+ miljö.

Var noga med att notera en tidsgräns: Apify MCP Servers SSE-överföringsmetod kommer att avvecklas den 1 april 2026, och då behöver den uppdateras till Streamable HTTP-metoden. Om du börjar konfigurera nu, använd bara den rekommenderade konfigurationen ovan, eftersom det redan är den nya metoden.

Andra intressanta lösningarBrave Search MCP är den officiellt rekommenderade sökningslösningen från Anthropic, med 2000 gratisfrågor per månad, vilket passar för daglig sökning som komplement, men det är bara en sökmotor och kan inte göra strukturerad datainsamling.

Playwright MCP kan göra verklig webbläsarrendering och hantera JavaScript-dynamiska sidor, vilket passar för de webbplatser som WebFetch har problem med på grund av tung JS-användning. Men det är mer inriktat på automatiserade operationer och är inte lika bekvämt för storskalig datainsamling som Apify.

Bright Data MCP följer en företagsinriktad väg, stöder proxyrotation och CAPTCHA-hantering, och 2026 lanserade de en ny gratisnivå (5000 MCP-förfrågningar per månad), vilket passar för scenarier som behöver bryta igenom anti-scraping-mekanismer.

Dessa lösningar har olika fokus och kan kombineras efter behov. Min nuvarande kombination är inbyggd WebFetch/WebSearch för att hantera dagliga informationsbehov, och Apify Skills för att hantera strukturerad datainsamling.

Claude Codes nätverkskapacitet och inbyggda verktyg kan täcka 80% av de dagliga scenarierna, men de återstående 20% (JS-rendering, anti-scraping, strukturerad data) är precis de aspekter som många faktiska arbeten inte kan undvika. Apifys Agent Skills och MCP Server fyller detta gap, och konfigurationsprocessen är inte komplicerad, jag rekommenderar starkt studenter med datainsamlingsbehov att prova.