Claude Code + Apify, безбариерано собирање податоци од целата мрежа
Claude Code + Apify, безбариерано собирање податоци од целата мрежа
Здраво на сите, јас сум Лу Гонг.
Кога користите Claude Code, особено во режимот Plan, често имате потреба да собирате податоци од веб-страници со помош на алатката WebSearch. Но, често се соочувате со ситуација на Fetch error.
Ова всушност е стар проблем. Со вградениот WebFetch и WebSearch алатки на Claude Code, за истражување и собирање информации, во 80% од сценаријата тие се доволни, но кога се соочувате со страници со JS рендерирање, веб-страници кои бараат логирање, или потреба за собирање на големи количини податоци, вградените алатки не можат да издржат.
Пред неколку дена, видов дека Сантјаго (@svpino, познат блогер во областа на AI/ML) сподели решение, тој рече дека може да се користи Claude Code за да се извлечат реални структурирани податоци од било која веб-страница, а резултатот е табела која може директно да се користи, а не само голем текстуален резиме. Пробав и навистина е многу корисно.
Денес ќе зборуваме за тоа како да се инсталира способноста за собирање податоци од целата мрежа на Claude Code, две патеки, по избор.
Недостатоци на вградените алатки за поврзување на Claude Code
Claude Code доаѓа со две вградени алатки за поврзување: WebSearch за пребарување и WebFetch за собирање на содржина на страницата.
WebSearch е релативно едноставен, му давате клучна реч и тој враќа релевантни линкови и наслови. WebFetch е малку покомплексен, му давате URL и прашање, тој ќе собере содржина на страницата, преку библиотеката Turndown ќе го претвори HTML во Markdown, ќе го скрати до 100KB и потоа ќе користи лесен модел (Haiku) за да ви направи резиме.
Да кажеме поедноставно, овие две алатки се едноставна верзија на прелистувач. Може да се користат, но има неколку сериозни недостатоци.
Најголемиот проблем е што не може да рендерира JS. Сега многу веб-страници се SPA (еднострани апликации), содржината се вчитува динамички преку JS. X/Twitter, многу платформи за електронска трговија, разни SaaS позадини, WebFetch не може да собере реална содржина, може само да добие празен оквир.
Способноста за спречување на собирање податоци е основно нула. Не поддржува ротација на прокси, не може да обработи CAPTCHA кодови, и кога наидете на веб-страници со механизми за спречување на собирање податоци, само можете да се откажете.
Друг проблем е што враќа само текстуални резимеа. Ако сакате да добиете структурирани податоци (на пример, табела со цени на производи, список на коментари на корисници, споредба на функции на конкурентите), WebFetch не може да го направи тоа, секогаш ви дава само компримиран текст.
Овие три недостатоци заедно го прават Claude Code тешко за користење во собирањето податоци. Но сега постои решение.
Метод 1: Apify Agent Skills
Apify е стара платформа за облачно собирање податоци, која се занимава со собирање на веб-страници и автоматизација многу години. Н recently, тие лансираа сет на Agent Skills, едноставно кажано, тоа е група на претходно подготвени вештини, специјално дизајнирани за да научат AI Coding Agent како да собира податоци.
GitHub репозиторум адреса: https://github.com/apify/agent-skills
Овој сет на Skills поддржува Claude Code, Cursor, Codex, Gemini CLI и други главни AI програмски алатки. Вкупно има 12 вештини, со широк опсег.
Клучната apify-ultimate-scraper е универзален вештински алат за собирање податоци, кој може да собира податоци од платформи како Instagram, Facebook, TikTok, YouTube, Google Maps, Google Search и други. Клучно е што враќа структурирани податоци, кои можат директно да се извезат во CSV или JSON, и веднаш да се користат.
Другите вештини покриваат анализи на конкуренција, мониторинг на брендови, собирање податоци од електронска трговија, откривање на KOL, добивање на потенцијални клиенти, анализа на трендови и други сценарија. Ако се занимавате со пазарно истражување или анализа на комерцијални податоци, овој сет е навистина магичен.
Инсталирањето на овој сет на Skills во Claude Code е исто така многу удобно. Условот е да имате Apify акаунт (регистрирајте се на apify.com, има бесплатен лимит), откако ќе добиете API Token, можете да започнете со конфигурацијата.
Инсталацијата се состои од два чекора. Прво, додадете пазарен извор:/plugin marketplace add https://github.com/apify/agent-skills инсталирајте ги потребните вештини, како што е универзалниот веб-скрепер:
/plugin install apify-ultimate-scraper@apify-agent-skills исто така можете да користите општиот npx метод за да инсталирате сите вештини одеднаш:
npx skills add apify/agent-skills по инсталацијата не заборавајте да го конфигурирате вашиот API Token во .env фајлот во коренот на проектот:
APIFYTOKEN=вашето токен
На пример, собирање на податоци од Youtube видеа
Тука ќе спомнам еден клучен момент. Santiago во твитовите постојано нагласува дека основната предност на оваа стратегија е враќањето на структурирани податоци. На пример, ако му кажете на Claude Code да собере список на производи од некоја е-комерц платформа, добивате организирана табела (име на производ, цена, оценка, линк), што може директно да се користи за анализа, многу е поупотребливо од текстуалните резимеа што ги враќа WebFetch.
Apify-овата наплатна шема е по принципот "плати за резултат", што значи дека само ако успешно соберете податоци, ќе се наплатат средства. Сепак, за индивидуални корисници, бесплатниот лимит е доволен за многу работи.
Метод 2: Apify MCP Server
Ако сакате пофлексибилна контрола, или ако вештините не покриваат вашата ситуација, имате и втора опција: директно поврзување со Apify платформата преку MCP (Model Context Protocol).
Преку Apify MCP Server, Claude Code може директно да повикува илјадници готови веб-скрепери и автоматизациски алатки во Apify Store.
GitHub репозиториум адреса: https://github.com/apify/apify-mcp-server
Конфигурацијата на MCP решението не е сложена. Препорачувам да користите хостирана далечинска серверска опција, бидејќи е најлесна за конфигурирање. Додајте во вашиот MCP конфигурациски фајл:
{ "mcpServers": { "apify": { "url": "https://mcp.apify.com", "headers": { "Authorization": "Bearer вашето APIFYTOKEN" } } } } ако повеќе ви се допаѓа локално да работите, можете да користите Stdio метод:
{ "mcpServers": { "apify-mcp": { "command": "npx", "args": ["-y", "@apify/actors-mcp-server"], "env": { "APIFYTOKEN": "вашето APIFYTOKEN" } } } } по конфигурацијата, Claude Code ќе може да повикува алатки како search-actors (пребарување на достапни веб-скрепери), call-actor (извршување на задача за веб-скрепер), get-dataset-items (добивање на резултати од собирањето) и други.
И методите Skills и MCP можат да се инсталираат, тие самите можат да се надополнуваат.
Ако вашите потреби се чести и сценаријата се фиксни (на пример, собирање на цени на конкурентите секој ден), користете Skills, бидејќи предизвиканите работни текови се подготвени за употреба.
Ако вашите потреби се привремени и сценаријата се променливи (денес собирање на податоци од социјални медиуми, утре собирање на јавни податоци од владата), користете MCP, бидејќи е пофлексибилно, Apify Store има 15000+ актори кои можете да повикувате во секое време.
Двата метода имаат ист предуслов: потребен е Apify акаунт и API Token, потребна е Node.js 20.6+ средина.
Обавезно обрнете внимание на еден временски момент: методот на пренос на SSE на Apify MCP Server ќе биде укинат на 1 април 2026 година, во тој момент ќе треба да се обнови на Streamable HTTP метод. Ако сега започнувате со конфигурацијата, директно користете ја горенаведената препорачаната конфигурација, тоа е веќе новиот метод.
