Claude Code + Apify, akadálymentes adatgyűjtés az egész weben
Claude Code + Apify, akadálymentes adatgyűjtés az egész weben
Helló mindenkinek, én Lu Gong vagyok.
Amikor a Claude Code-ot használjátok, különösen a Plan módban, gyakran van szükség a WebSearch eszköz segítségével weboldalak adatainak begyűjtésére. De gyakran találkozunk Fetch error helyzettel.
Ez valójában egy régi probléma. A Claude Code beépített WebFetch és WebSearch eszközeivel az információk keresése és kutatás 80%-ában elegendő, de ha JS-renderelt oldalakról, bejelentkezést igénylő webhelyekről vagy nagyszabású adatgyűjtési igényekről van szó, a beépített eszközök nem bírják a terhelést.
Pár nappal ezelőtt láttam, hogy Santiago (@svpino, az AI/ML terület neves bloggereként) megosztott egy megoldást, amely szerint a Claude Code segítségével bármely weboldalról valós idejű strukturált adatokat lehet lehívni, és az eredmény közvetlenül használható táblázat formájában érkezik, nem pedig egy hosszú szöveges összefoglalóként. Kipróbáltam, és valóban nagyon jól működik.
Ma arról fogunk beszélni, hogyan lehet a Claude Code-ot felruházni az egész webes adatgyűjtés képességével, két útvonal közül lehet választani.
A Claude Code beépített online eszközeinek gyengeségei
A Claude Code két beépített online eszközzel rendelkezik: a WebSearch a keresésért felelős, míg a WebFetch az oldalak tartalmának begyűjtéséért.
A WebSearch viszonylag egyszerű, adsz neki egy keresőszót, és visszaadja a kapcsolódó linkeket és címeket. A WebFetch kicsit bonyolultabb, adsz neki egy URL-t és egy kérdést, és begyűjti az oldal tartalmát, a Turndown könyvtár segítségével HTML-t Markdown formátumba alakít, 100 KB-ra korlátozva, majd egy könnyű modell (Haiku) segítségével összegzi.
Egyszerűen fogalmazva, ez a két eszköz egy egyszerűsített böngésző. Használható, de van néhány komoly hátránya.
A legnagyobb probléma, hogy nem tudja renderelni a JS-t. Jelenleg sok weboldal SPA (egylapos alkalmazás), a tartalom JS-en keresztül dinamikusan töltődik be. Az X/Twitter, sok e-kereskedelmi platform és különféle SaaS háttér esetén a WebFetch nem tudja begyűjteni a tényleges tartalmat, csak egy üres héjat kapunk.
A botvédelmi képessége szinte nulla. Nem támogatja a proxy rotációt, nem tudja kezelni a CAPTCHA kódokat, és ha egy botvédelmi mechanizmussal rendelkező weboldallal találkozunk, akkor csak tehetetlenül állunk.
Egy másik fájdalompont, hogy csak szöveges összefoglalót ad vissza. Ha strukturált adatokat szeretnél (például termékárak listája, felhasználói vélemények listája, versenytársak funkcióinak összehasonlítása), a WebFetch nem tudja ezt megadni, mindig csak egy tömörített szöveget kapsz.
Ezek a három gyengeség együttvéve azt eredményezik, hogy a Claude Code mindig is hiányzott az adatgyűjtés egyszerűségének terén. De most van megoldás.
Módszer 1: Apify Agent Skills
Az Apify egy régi felhőalapú webes adatgyűjtő platform, amely már évek óta foglalkozik weboldalak begyűjtésével és automatizálásával. Nemrégiben bevezettek egy Agent Skills csomagot, ami lényegében egy előre elkészített készségek csoportja, amely kifejezetten arra tanítja az AI Coding Agentet, hogyan végezzen adatgyűjtést.
GitHub tároló címe: https://github.com/apify/agent-skills
Ez a készségcsomag támogatja a Claude Code-ot, Cursor-t, Codex-et, Gemini CLI-t és más népszerű AI programozási eszközöket. Jelenleg összesen 12 készség érhető el, amelyek széles spektrumot fednek le.
A központi apify-ultimate-scraper egy univerzális webes adatgyűjtő készség, amely képes begyűjteni adatokat az Instagram, Facebook, TikTok, YouTube, Google Maps, Google Search platformokról. A lényeg, hogy strukturált adatokat ad vissza, amelyeket közvetlenül CSV vagy JSON formátumban exportálhatsz, és azonnal használhatod.
A többi készség lefedi a versenytárs elemzést, márkakép monitoringot, e-kereskedelmi adatgyűjtést, KOL felfedezést, potenciális ügyfelek megszerzését, trendelemzést és egyéb szcenáriókat. Ha piackutatást vagy üzleti adat elemzést végzel, ez a készlet egyszerűen csodálatos.
A készségcsomag telepítése a Claude Code-ban szintén nagyon egyszerű. Az előfeltétel egy Apify fiók (regisztrálj az apify.com-on, van ingyenes keret), miután megkaptad az API Tokent, elkezdheted a konfigurálást.
A telepítés két lépésből áll. Először is, adj hozzá piaci forrást:/plugin marketplace add https://github.com/apify/agent-skills Telepítsd a szükséges készségeket, például az univerzális webkarmolót:
/plugin install apify-ultimate-scraper@apify-agent-skills Az összes készség egyszeri telepítésére használhatod a közönséges npx módszert is:
npx skills add apify/agent-skills Telepítés után ne felejtsd el beállítani az API Tokened a projekt gyökérkönyvtárában található .env fájlban:
APIFYTOKEN=yourtoken
Például Youtube videóadatok lekérése
Itt van egy kulcsfontosságú pont. Santiago többször hangsúlyozta a tweetjeiben, hogy ennek a megoldásnak a fő előnye a strukturált adatok visszaadása. Például, ha a Claude Code-ot arra kéred, hogy kérjen le egy e-kereskedelmi platform terméklistáját, akkor egy rendezett táblázatot kapsz (terméknév, ár, értékelés, link), amelyet közvetlenül elemezhetsz, sokkal hasznosabb, mint a WebFetch által visszaadott szöveges összefoglaló.
Az Apify díjszabási modellje az eredmények alapján történik, vagyis csak akkor vonnak le pénzt, ha sikeresen lekérted az adatokat. Azonban a személyes felhasználók számára a ingyenes keret elegendő ahhoz, hogy sok mindent megtegyenek.
Második módszer: Apify MCP Server
Ha rugalmasabb irányítást szeretnél, vagy a Skills nem fedi le a te esetedet, van egy második út: közvetlenül az MCP-n (Model Context Protocol) keresztül csatlakozni az Apify platformhoz.
Az Apify MCP Server segítségével a Claude Code közvetlenül hívhatja az Apify Store-ban található több ezer kész webkarmolót és automatizáló eszközt.
GitHub tároló címe: https://github.com/apify/apify-mcp-server
Az MCP megoldás konfigurálása sem bonyolult. Ajánlott a hosztolt távoli szerver módszert használni, a konfigurálás a legegyszerűbb. A MCP konfigurációs fájlodba add hozzá:
{ "mcpServers": { "apify": { "url": "https://mcp.apify.com", "headers": { "Authorization": "Bearer yourAPIFYTOKEN" } } } } Ha inkább helyben szeretnéd futtatni, használhatod a Stdio módszert:
{ "mcpServers": { "apify-mcp": { "command": "npx", "args": ["-y", "@apify/actors-mcp-server"], "env": { "APIFYTOKEN": "yourAPIFY_TOKEN" } } } } A beállítások után a Claude Code képes lesz hívni a search-actors (elérhető webkarmolók keresése), call-actor (webkarmoló feladat végrehajtása), get-dataset-items (lekért eredmények megszerzése) és más eszközöket.
A Skills és az MCP módszerek egyaránt telepíthetők, a kettő kiegészítheti egymást.
Ha a szükségleted gyakori és rögzített (például naponta egyszer lekérni a versenytársak árait), a Skills használata egyszerűbb, az előre elkészített munkafolyamatok azonnal használhatók.
Ha a szükségleted ideiglenes és változékony (ma közösségi médiát, holnap kormányzati nyilvános adatokat kérsz le), az MCP rugalmasabb, az Apify Store-ban több mint 15000 Actor áll rendelkezésre, amelyeket bármikor hívhatsz.
Mindkét módszer előfeltétele ugyanaz: szükséges egy Apify fiók és API Token, valamint Node.js 20.6+ környezet.
Fontos figyelni egy időpontot: az Apify MCP Server SSE átviteli módja 2026. április 1-jén megszűnik, ekkor Streamable HTTP módra kell frissíteni. Ha most kezded a konfigurálást, egyszerűen használd a fent ajánlott beállítást, az már az új módszer.
