Claude Code + Apify, безперешкодне збори даних з усієї мережі
Claude Code + Apify, безперешкодне збори даних з усієї мережі
Всім привіт, я - Лу Гун.
Коли ви користуєтеся Claude Code, особливо в режимі плану, часто виникає потреба використовувати інструмент WebSearch для збору даних з веб-сторінок. Але часто виникає ситуація з Fetch error.
Це насправді стара проблема. Використовуючи вбудовані інструменти WebFetch та WebSearch в Claude Code, для пошуку інформації та проведення досліджень, в 80% випадків цього достатньо, але коли стикаєшся зі сторінками, що рендеряться за допомогою JS, сайтами, які вимагають входу, або потребами в зборі великих обсягів даних, вбудовані інструменти не витримують.
Днями я бачив, як Сантьяго (@svpino, відомий блогер у сфері AI/ML) поділився рішенням, він сказав, що можна використовувати Claude Code для отримання структурованих даних в реальному часі з будь-якого сайту, повертаючи таблиці, які можна використовувати безпосередньо, а не великі текстові резюме. Я спробував, і це дійсно дуже зручно.
Сьогодні поговоримо про те, як надати Claude Code можливість збору даних з усієї мережі, два шляхи, вибирайте за потребою.
Недоліки вбудованих інструментів Claude Code
Claude Code має два вбудовані інструменти для підключення до мережі: WebSearch відповідає за пошук, а WebFetch - за збори вмісту сторінок.
WebSearch досить простий, ви даєте йому пошуковий запит, він повертає відповідні посилання та заголовки. WebFetch трохи складніший, ви даєте йому URL та запитання, він збирає вміст сторінки, перетворює HTML на Markdown за допомогою бібліотеки Turndown, обрізає до 100KB, а потім використовує легку модель (Haiku) для підсумування.
Словом, ці два інструменти - це спрощена версія браузера. Вони можуть працювати, але мають кілька серйозних недоліків.
Найбільша проблема полягає в тому, що вони не можуть рендерити JS. Зараз багато сайтів є SPA (односторінкові додатки), вміст яких динамічно завантажується за допомогою JS. X/Twitter, багато платформ електронної комерції, різні SaaS бекенди - WebFetch не може отримати фактичний вміст, може лише отримати порожню оболонку.
Здатність до обходу захисту від збору даних також практично нульова. Не підтримує ротацію проксі, не може обробляти CAPTCHA, і якщо стикається з сайтами з механізмами захисту від збору даних, просто не може нічого зробити.
Ще одна проблема полягає в тому, що він повертає лише текстові резюме. Якщо ви хочете отримати структуровані дані (наприклад, таблицю цін на товари, список коментарів користувачів, порівняння функцій конкурентів), WebFetch не може цього зробити, він завжди надає вам стисле текстове резюме.
Ці три недоліки разом роблять Claude Code недостатньо зручним для збору даних. Але тепер є рішення.
Метод 1: Apify Agent Skills
Apify - це стара платформа для збору даних у хмарі, яка займається збором веб-даних та автоматизацією вже багато років. Нещодавно вони випустили набір Agent Skills, простіше кажучи, це набір попередньо налаштованих навичок, які навчають AI Coding Agent, як здійснювати збір даних.
Адреса репозиторію GitHub: https://github.com/apify/agent-skills
Цей набір навичок підтримує Claude Code, Cursor, Codex, Gemini CLI та інші популярні інструменти програмування AI. Наразі є 12 навичок, які охоплюють досить широкий спектр.
Основний apify-ultimate-scraper - це універсальна навичка збору даних, яка може збирати дані з платформ Instagram, Facebook, TikTok, YouTube, Google Maps, Google Search тощо. Ключове в тому, що він повертає структуровані дані, які можна безпосередньо експортувати у CSV або JSON, і вони готові до використання.
Інші навички охоплюють аналіз конкурентів, моніторинг репутації бренду, збір даних електронної комерції, виявлення KOL, отримання потенційних клієнтів, аналіз тенденцій тощо. Якщо ви займаєтеся ринковими дослідженнями або бізнес-аналізом даних, цей набір просто чудовий.
Встановлення цього набору навичок у Claude Code також дуже зручне. Передумова - мати обліковий запис Apify (зареєструйтесь на apify.com, є безкоштовна квота), після отримання API Token ви можете почати налаштування.
Встановлення складається з двох етапів. Спочатку додайте джерело ринку:/plugin marketplace add https://github.com/apify/agent-skills Встановіть необхідні навички, наприклад, універсальний веб-скребок:
/plugin install apify-ultimate-scraper@apify-agent-skills також можна використовувати універсальний спосіб npx, щоб одноразово встановити всі навички:
npx skills add apify/agent-skills Після установки не забудьте в файлі .env в кореневій директорії проекту налаштувати ваш API Token:
APIFYTOKEN=ваш токен
Наприклад, для збору даних про відео з Youtube
Тут є один ключовий момент. Сантьяго неодноразово підкреслював у твіттері, що основна перевага цього рішення полягає в поверненні структурованих даних. Наприклад, якщо ви попросите Claude Code зібрати список товарів з певної електронної комерційної платформи, ви отримаєте впорядковану таблицю (назва, ціна, рейтинг, посилання), яку можна безпосередньо використовувати для аналізу, що набагато корисніше, ніж текстовий підсумок, повернений WebFetch.
Модель оплати Apify базується на результатах, тобто гроші знімаються лише за успішно зібрані дані. Проте для особистих користувачів безкоштовного ліміту достатньо для виконання багатьох завдань.
Метод 2: Apify MCP Server
Якщо ви хочете більш гнучкого контролю, або якщо навички не охоплюють ваш сценарій, є другий шлях: безпосередньо підключитися до платформи Apify через MCP (Model Context Protocol).
Через Apify MCP Server Claude Code може безпосередньо викликати тисячі готових веб-скребків та автоматизованих інструментів з Apify Store.
Адреса репозиторію GitHub: https://github.com/apify/apify-mcp-server
Конфігурація MCP також не є складною. Рекомендується використовувати хостинг на віддаленому сервері, це найзручніше. Додайте до вашого конфігураційного файлу MCP:
{ "mcpServers": { "apify": { "url": "https://mcp.apify.com", "headers": { "Authorization": "Bearer ваш APIFYTOKEN" } } } } Якщо ви більше любите локальне виконання, ви можете використовувати спосіб Stdio:
{ "mcpServers": { "apify-mcp": { "command": "npx", "args": ["-y", "@apify/actors-mcp-server"], "env": { "APIFYTOKEN": "ваш APIFYTOKEN" } } } } Після налаштування Claude Code зможе викликати такі інструменти, як search-actors (пошук доступних веб-скребків), call-actor (виконання завдання веб-скребка), get-dataset-items (отримання результатів збору) тощо.
Навички та метод MCP можна встановити обидва, вони можуть доповнювати один одного.
Якщо ваші вимоги є частими та сценарій фіксований (наприклад, щоденний збір цін конкурентів), використання навичок буде більш зручним, готові робочі процеси готові до використання.
Якщо ваші вимоги є тимчасовими та сценарій змінюється (сьогодні збір даних з соціальних медіа, завтра збір відкритих даних уряду), використання MCP буде більш гнучким, в Apify Store є понад 15000 акторів, яких можна викликати в будь-який час.
Обидва способи мають однакові вимоги: потрібен обліковий запис Apify та API Token, потрібне середовище Node.js 20.6+.
Обов'язково зверніть увагу на один часовий момент: спосіб передачі SSE для Apify MCP Server буде скасовано 1 квітня 2026 року, тоді потрібно буде оновити до Streamable HTTP способу. Якщо ви починаєте налаштування зараз, просто використовуйте рекомендовану вище конфігурацію, це вже новий спосіб.
