Claude Code + Apify, toegankelijk webdata verzamelen
Claude Code + Apify, toegankelijk webdata verzamelen
Hallo allemaal, ik ben Lu Gong.
Wanneer je Claude Code gebruikt, vooral in de Plan-modus, heb je vaak de behoefte om webdata te verzamelen met behulp van de WebSearch-tool. Maar je komt vaak de situatie tegen van Fetch-fouten.
Dit is eigenlijk een oud probleem. Met de ingebouwde WebFetch en WebSearch-tools van Claude Code is het voldoende om informatie te zoeken en onderzoek te doen in 80% van de gevallen, maar wanneer je te maken krijgt met JS-gerenderde pagina's, sites die inloggen vereisen, of de behoefte aan grootschalige dataverzameling, kunnen de ingebouwde tools niet meer voldoen.
Een paar dagen geleden zag ik Santiago (@svpino, een bekende blogger op het gebied van AI/ML) een oplossing delen. Hij zei dat je met Claude Code realtime gestructureerde data van elke website kunt ophalen, en dat het resultaat een direct bruikbare tabel is, niet zo'n lange tekstsamenvatting. Ik heb het zelf geprobeerd en het werkt echt goed.
Vandaag gaan we het hebben over hoe je Claude Code kunt uitrusten met de mogelijkheid om data van het hele web te verzamelen, met twee paden om uit te kiezen, afhankelijk van de behoefte.
De tekortkomingen van de ingebouwde netwerkt tools van Claude Code
Claude Code heeft twee ingebouwde netwerkt tools: WebSearch voor zoeken en WebFetch voor het ophalen van pagina-inhoud.
WebSearch is vrij eenvoudig; je geeft het een zoekwoord en het retourneert relevante links en titels. WebFetch is iets complexer; je geeft het een URL en een vraag, en het haalt de pagina-inhoud op, zet HTML om in Markdown met behulp van de Turndown-bibliotheek, snijdt het af tot binnen de 100KB, en gebruikt een lichtgewicht model (Haiku) om je een samenvatting te geven.
In feite zijn deze twee tools een vereenvoudigde versie van een browser. Ze zijn bruikbaar, maar hebben enkele grote tekortkomingen.
Het grootste probleem is dat ze geen JS kunnen renderen. Tegenwoordig zijn veel websites SPA (Single Page Applications), waarbij de inhoud dynamisch met JS wordt geladen. X/Twitter, veel e-commerceplatforms, verschillende SaaS-achtergronden, WebFetch kan de werkelijke inhoud niet ophalen, je krijgt alleen een lege schil.
De anti-scrapingcapaciteit is ook vrijwel nul. Het ondersteunt geen proxy-rotatie, kan CAPTCHA-verificatie niet verwerken, en als je tegen een website met anti-scrapingmechanismen aanloopt, kun je alleen maar opgeven.
Een ander pijnpunt is dat het alleen tekstsamenvattingen retourneert. Als je gestructureerde data wilt (zoals productprijs tabellen, gebruikersrecensielijsten, vergelijkingen van functies van concurrenten), kan WebFetch dat niet doen; het geeft je altijd een samengeperste tekst.
Deze drie tekortkomingen samen maken dat Claude Code altijd een gebrek aan gebruiksvriendelijkheid heeft als het gaat om dataverzameling. Maar nu is er een oplossing.
Methode 1: Apify Agent Skills
Apify is een gevestigde cloud scraping-platform dat al jaren webdata verzamelt en automatiseert. Onlangs hebben ze een set Agent Skills gelanceerd, simpel gezegd een reeks vooraf gemaakte vaardigheden die AI Coding Agents leren hoe ze data kunnen verzamelen.
GitHub-repository: https://github.com/apify/agent-skills
Deze Skills ondersteunen populaire AI-programmeerhulpmiddelen zoals Claude Code, Cursor, Codex, Gemini CLI, enz. Momenteel zijn er in totaal 12 vaardigheden, met een behoorlijk breed bereik.
De kernvaardigheid apify-ultimate-scraper is een veelzijdige scrapingvaardigheid die data van platforms zoals Instagram, Facebook, TikTok, YouTube, Google Maps, Google Search, enz. kan ophalen. Het belangrijkste is dat het gestructureerde data retourneert die direct kan worden geëxporteerd naar CSV of JSON, en direct bruikbaar is.
Andere vaardigheden dekken scenario's zoals concurrentieanalyse, merkmonitoring, e-commerce dataverzameling, KOL-ontdekking, leadgeneratie, trendanalyse, enz. Als je marktonderzoek of zakelijke data-analyse doet, is deze set gewoonweg geweldig.
Het installeren van deze Skills in Claude Code is ook heel eenvoudig. Voorwaarde is dat je een Apify-account nodig hebt (registreer op apify.com, er is een gratis tegoed), en zodra je de API-token hebt, kun je beginnen met configureren.
De installatie bestaat uit twee stappen. Voeg eerst de marktplaatsbron toe:/plugin marketplace add https://github.com/apify/agent-skills install de vaardigheden die je nodig hebt, zoals de universele webscraper:
/plugin install apify-ultimate-scraper@apify-agent-skills je kunt ook de algemene npx-methode gebruiken om alle vaardigheden in één keer te installeren:
npx skills add apify/agent-skills Vergeet niet om je API-token in het .env-bestand in de hoofdmap van je project in te stellen:
APIFYTOKEN=jetoken
Bijvoorbeeld het ophalen van Youtube videogegevens
Hier is een belangrijk punt. Santiago benadrukt in zijn tweets herhaaldelijk dat het belangrijkste voordeel van deze aanpak is dat het gestructureerde gegevens retourneert. Bijvoorbeeld, als je Claude Code vraagt om een productlijst van een e-commerceplatform te verzamelen, krijg je een goed georganiseerde tabel (productnaam, prijs, beoordeling, link), die je direct kunt gebruiken voor analyse, veel nuttiger dan de tekstsamenvatting die WebFetch retourneert.
Het betalingsmodel van Apify is pay-per-result, wat betekent dat je alleen betaalt als je succesvol gegevens hebt verzameld. Maar voor individuele gebruikers is de gratis limiet voldoende om veel dingen te doen.
Methode twee: Apify MCP Server
Als je meer flexibele controle wilt, of als de Skills jouw scenario niet dekt, is er een tweede optie: direct verbinding maken met het Apify-platform via MCP (Model Context Protocol).
Via de Apify MCP Server kan Claude Code direct duizenden kant-en-klare webscrapers en automatiseringstools in de Apify Store aanroepen.
GitHub-repository: https://github.com/apify/apify-mcp-server
De configuratie van de MCP-oplossing is ook niet ingewikkeld. Het wordt aanbevolen om de gehoste externe serveroptie te gebruiken, omdat dit het gemakkelijkst is. Voeg het volgende toe aan je MCP-configuratiebestand:
{ "mcpServers": { "apify": { "url": "https://mcp.apify.com", "headers": { "Authorization": "Bearer jeAPIFYTOKEN" } } } } Als je de voorkeur geeft aan lokaal draaien, kun je de Stdio-methode gebruiken:
{ "mcpServers": { "apify-mcp": { "command": "npx", "args": ["-y", "@apify/actors-mcp-server"], "env": { "APIFYTOKEN": "jeAPIFY_TOKEN" } } } } Zodra je dit hebt ingesteld, kan Claude Code tools zoals search-actors (beschikbare webscrapers zoeken), call-actor (webscraping-taken uitvoeren), get-dataset-items (verzamelde resultaten ophalen) aanroepen.
Je kunt zowel Skills als de MCP-methode installeren; ze kunnen elkaar aanvullen.
Als je behoefte hebt aan frequente, vaste scenario's (bijvoorbeeld elke dag de prijzen van concurrenten ophalen), is het gebruik van Skills zorgelozer, met kant-en-klare workflows die direct klaar zijn voor gebruik.
Als je behoefte hebt aan tijdelijke, veranderlijke scenario's (vandaag sociale media ophalen, morgen overheidsgegevens), is MCP flexibeler, met meer dan 15000 Actors in de Apify Store die je op elk moment kunt aanroepen.
De voorwaarden voor beide methoden zijn hetzelfde: je hebt een Apify-account en API-token nodig, en een Node.js 20.6+ omgeving.
Let goed op een tijdslimiet: de SSE-transmissiemethode van de Apify MCP Server wordt op 1 april 2026 afgeschaft, en je moet dan overschakelen naar de Streamable HTTP-methode. Als je nu begint met configureren, gebruik dan gewoon de hierboven aanbevolen configuratie; dat is al de nieuwe methode.
