Claude Code + Apify, tilgjengelig datainnhenting fra hele nettet
Claude Code + Apify, tilgjengelig datainnhenting fra hele nettet
Hei alle sammen, jeg er Lu Gong.
Når dere bruker Claude Code, spesielt i Plan-modus, har dere ofte behov for å bruke WebSearch-verktøyet for å hente inn nettsidedata. Men dere støter ofte på Fetch-feil.
Dette er faktisk et gammelt problem. Med Claude Codes innebygde WebFetch og WebSearch-verktøy, er det tilstrekkelig for 80% av scenariene når man søker etter informasjon eller gjør undersøkelser, men når man møter JS-renderte sider, nettsteder som krever innlogging, eller behov for storskala datainnsamling, klarer ikke de innebygde verktøyene å håndtere det.
For et par dager siden så jeg Santiago (@svpino, en kjent blogger innen AI/ML) dele en løsning. Han sa at man kan bruke Claude Code til å hente sanntids strukturerte data fra enhver nettside, og det som returneres er tabeller som kan brukes direkte, ikke bare lange tekstutdrag. Jeg prøvde det, og det fungerte veldig bra.
I dag skal vi snakke om hvordan man kan gi Claude Code evnen til å samle inn data fra hele nettet, to veier å velge mellom etter behov.
Claude Codes innebygde nettverktøy sine begrensninger
Claude Code har to innebygde nettverktøy: WebSearch som ansvarer for søk, og WebFetch som henter inn innhold fra sider.
WebSearch er ganske enkelt; du gir det et søkeord, og det returnerer relevante lenker og titler. WebFetch er litt mer komplisert; du gir det en URL og et spørsmål, og det henter inn innholdet fra siden, konverterer HTML til Markdown ved hjelp av Turndown-biblioteket, kutter det ned til 100KB, og bruker en lettvektsmodell (Haiku) for å oppsummere.
Med andre ord, disse to verktøyene fungerer som en enkel nettleser. De kan brukes, men har flere alvorlige svakheter.
Det største problemet er at de ikke kan rendre JS. Nå for tiden er mange nettsteder SPA (enkelsideapplikasjoner), og innholdet lastes dynamisk med JS. X/Twitter, mange e-handelsplattformer, og diverse SaaS-bakgrunner kan WebFetch ikke hente faktisk innhold fra, det får bare tak i en tom skall.
Evnen til å unngå bot-detektering er også praktisk talt null. Det støtter ikke proxy-rotasjon, kan ikke håndtere CAPTCHA-verifikasjoner, og når det møter nettsteder med bot-detekteringsmekanismer, må det gi opp.
En annen smerte er at det bare returnerer tekstutdrag. Hvis du ønsker å få tak i strukturerte data (for eksempel produktpriser, brukerkommentarer, eller sammenligning av funksjoner mellom konkurrenter), kan WebFetch ikke gjøre det; det gir deg alltid en komprimert tekst.
Disse tre svakhetene kombinert gjør at Claude Code alltid mangler brukervennlighet når det gjelder datainnsamling. Men nå finnes det en løsning.
Metode 1: Apify Agent Skills
Apify er en velkjent skybasert nettleserplattform som har drevet med nettsideinnhenting og automatisering i mange år. Nylig har de lansert en serie med Agent Skills, som enkelt sagt er en gruppe forhåndsdefinerte ferdighetspakker som lærer AI Coding Agent hvordan man samler inn data.
GitHub-repositoriet: https://github.com/apify/agent-skills
Disse ferdighetene støtter Claude Code, Cursor, Codex, Gemini CLI og andre populære AI-programmeringsverktøy. Det er for øyeblikket 12 ferdigheter tilgjengelig, som dekker et bredt spekter.
Den sentrale apify-ultimate-scraper er en allsidig nettleserferdighet som kan hente data fra plattformer som Instagram, Facebook, TikTok, YouTube, Google Maps, Google Search, osv. Nøkkelen er at den returnerer strukturerte data som kan eksporteres direkte til CSV eller JSON, klar til bruk.
Andre ferdigheter dekker scenarier som konkurrentanalyse, overvåking av merkevareomdømme, innsamling av e-handelsdata, KOL-funn, potensielle kundeinnhentinger, trendanalyse, osv. Hvis du driver med markedsundersøkelser eller forretningsdataanalyse, er denne pakken rett og slett fantastisk.
Å installere disse ferdighetene i Claude Code er også veldig enkelt. Forutsetningen er at du trenger en Apify-konto (registrer deg på apify.com, det er gratis kvoter), og når du har fått API-tokenet, kan du begynne å konfigurere.
Installasjonen skjer i to trinn. Først legger du til markedskilder:/plugin marketplace add https://github.com/apify/agent-skills installere ferdighetene du trenger, som universell nettleser:
/plugin install apify-ultimate-scraper@apify-agent-skills kan også bruke den generelle npx-metoden for å installere alle ferdigheter på en gang:
npx skills add apify/agent-skills Etter installasjonen, ikke glem å konfigurere din API Token i .env-filen i prosjektets rotmappe:
APIFYTOKEN=din token
For eksempel hente Youtube videodata
Her er et nøkkelpunk. Santiago understreker gjentatte ganger i tweetene at den viktigste fordelen med denne løsningen er at den returnerer strukturerte data. For eksempel, hvis du ber Claude Code om å hente produktlisten fra en e-handelsplattform, får du et organisert regneark (produktnavn, pris, vurdering, lenke), som kan brukes direkte til analyse, mye mer nyttig enn tekstoppsummeringen som WebFetch returnerer.
Apifys betalingsmodell er basert på resultater, det vil si at du kun betaler når dataene er hentet med suksess. Men for personlige brukere er gratis kvoten tilstrekkelig til å gjøre mye.
Metode to: Apify MCP Server
Hvis du ønsker mer fleksibel kontroll, eller hvis ferdighetene ikke dekker scenariet ditt, er det en annen vei: direkte tilgang til Apify-plattformen via MCP (Model Context Protocol).
Gjennom Apify MCP Server kan Claude Code direkte kalle tusenvis av ferdige nettlesere og automatiseringsverktøy i Apify Store.
GitHub-repositoriets adresse: https://github.com/apify/apify-mcp-server
MCP-løsningens konfigurasjon er heller ikke komplisert. Anbefalt å bruke en administrert fjernserver, konfigurasjonen er enklest. Legg til i MCP-konfigurasjonsfilen din:
{ "mcpServers": { "apify": { "url": "https://mcp.apify.com", "headers": { "Authorization": "Bearer din APIFYTOKEN" } } } } Hvis du foretrekker å kjøre lokalt, kan du bruke Stdio-metoden:
{ "mcpServers": { "apify-mcp": { "command": "npx", "args": ["-y", "@apify/actors-mcp-server"], "env": { "APIFYTOKEN": "din APIFYTOKEN" } } } } Når dette er konfigurert, kan Claude Code begynne å bruke verktøy som search-actors (søke etter tilgjengelige nettlesere), call-actor (utføre nettleseroppgaver), get-dataset-items (hente innhentede resultater) osv.
Både Skills og MCP-metoden kan installeres, de kan supplere hverandre.
Hvis behovet ditt er hyppig og scenariet er fast (for eksempel hente konkurrentpriser en gang om dagen), er det mer bekymringsfritt å bruke Skills, med forhåndsdefinerte arbeidsflyter som er klare til bruk.
Hvis behovet ditt er midlertidig og scenariet variabelt (i dag henter sosiale medier, i morgen henter offentlige data fra regjeringen), er MCP mer fleksibelt, Apify Store har over 15000 aktører som kan kalles når som helst.
For begge metoder er forutsetningene de samme: du trenger en Apify-konto og API Token, samt Node.js 20.6+ miljø.
Vær oppmerksom på et tidspunkt: Apify MCP Servers SSE-overføringsmetode vil bli avviklet 1. april 2026, og da må den oppdateres til Streamable HTTP-metoden. Hvis du begynner å konfigurere nå, kan du bruke den anbefalte konfigurasjonen ovenfor, som allerede er den nye metoden.
