Claude Code + Apify, барлық желі деректерін алу
Claude Code + Apify, барлық желі деректерін алу
Сәлеметсіздер ме, мен Лу Гун.
Сіздер Claude Code-ты пайдаланғанда, әсіресе Plan режимінде, веб-бет деректерін алу үшін WebSearch құралын пайдалану қажеттілігі жиі туындайды. Бірақ Fetch error жағдайларымен жиі кездесесіздер.
Бұл шын мәнінде ескі мәселе. Claude Code-тың өзінде бар WebFetch және WebSearch құралдарын пайдаланып, ақпарат іздеу, зерттеу жүргізу, 80% жағдайларда жеткілікті, бірақ JS рендерленген беттер, логин қажет сайттар немесе үлкен көлемдегі деректерді жинау қажеттілігі туындағанда, ішкі құралдар шыдамайды.
Бірнеше күн бұрын, мен Santiago-ның (@svpino, AI/ML саласындағы танымал блогер) бір шешімін көрдім, ол Claude Code-ты кез келген сайттан нақты уақыттағы құрылымдық деректерді алу үшін пайдалануға болатынын айтты, қайтарылатын деректер тікелей пайдалануға болатын кесте, ұзын мәтіннің қысқаша мазмұны емес. Мен сынап көрдім, шынымен де өте пайдалы.
Бүгін Claude Code-қа барлық желі деректерін жинау мүмкіндігін қалай қосуға болатынын талқылаймыз, екі жол, қажеттілігіне қарай таңдаңыз.
Claude Code-тың ішкі желілік құралдарының кемшіліктері
Claude Code-тың екі желілік құралы бар: WebSearch іздеу үшін, WebFetch бет мазмұнын алу үшін жауапты.
WebSearch салыстырмалы түрде қарапайым, сіз оған іздеу сөзін бересіз, ол сәйкес сілтемелер мен тақырыптарды қайтарады. WebFetch сәл күрделірек, сіз оған URL мен сұрақ бересіз, ол бет мазмұнын алады, Turndown кітапханасы арқылы HTML-ды Markdown-ға айналдырады, 100KB-ға дейін қысқартады, содан кейін жеңіл модель (Haiku) арқылы сізге қорытындылайды.
Анық айтқанда, бұл екі құрал - қарапайым браузердің жеңіл нұсқасы. Пайдалануға болады, бірақ бірнеше қатты кемшіліктері бар.
Ең үлкен мәселе - JS рендерлеу мүмкіндігі жоқ. Қазіргі уақытта көптеген сайттар SPA (бір беттік қосымша) болып табылады, мазмұн JS арқылы динамикалық түрде жүктеледі. X/Twitter, көптеген электронды коммерция платформалары, әртүрлі SaaS артқы жүйелері, WebFetch нақты мазмұнды ала алмайды, тек бос қабықты алады.
Анти-скрепинг мүмкіндігі де негізінен нөлге тең. Прокси айналдыруды қолдамайды, CAPTCHA кодтарын өңдей алмайды, анти-скрепинг механизмдері бар сайттарға тап болғанда, тек қарап отыруға тура келеді.
Тағы бір ауыртпалық - тек мәтіннің қысқаша мазмұнын қайтарады. Егер сіз құрылымдық деректерді (мысалы, өнім бағалары кестесі, пайдаланушы пікірлері тізімі, бәсекелес өнімдердің функционалдық салыстыруы) алғыңыз келсе, WebFetch мұны істей алмайды, ол сізге әрдайым қысылған мәтін береді.
Бұл үш кемшілік Claude Code-ты деректерді жинау мәселесінде әрдайым пайдалануға ыңғайсыз етеді. Бірақ қазір шешім бар.
Әдіс 1: Apify Agent Skills
Apify - веб-беттерді алу және автоматтандыру бойынша көп жылдан бері жұмыс істеп келе жатқан ескі бұлттық скрепинг платформасы. Жақында олар Agent Skills жиынтығын шығарды, қысқаша айтқанда, бұл AI Coding Agent-ке деректерді жинауды қалай жасау керектігін үйрететін алдын ала дайындалған дағдылар пакеті.
GitHub репозиторийі: https://github.com/apify/agent-skills
Бұл дағдылар Claude Code, Cursor, Codex, Gemini CLI және т.б. сияқты танымал AI бағдарламалау құралдарын қолдайды. Қазіргі уақытта барлығы 12 дағды, қамтуы өте кең.
Негізгі apify-ultimate-scraper - бұл әмбебап скрепинг дағдысы, Instagram, Facebook, TikTok, YouTube, Google Maps, Google Search сияқты платформалардың деректерін алуға мүмкіндік береді. Негізгісі - ол құрылымдық деректерді қайтарады, CSV немесе JSON форматында тікелей экспорттауға болады, пайдалануға дайын.
Басқа дағдылар бәсекелестерді талдау, брендтің беделін бақылау, электронды коммерция деректерін жинау, KOL табу, әлеуетті клиенттерді алу, трендтерді талдау сияқты сценарийлерді қамтиды. Егер сіз нарықты зерттеу немесе коммерциялық деректерді талдау жасасаңыз, бұл жиынтық нағыз ғажайып.
Claude Code-қа бұл дағдыларды орнату да өте ыңғайлы. Алдымен Apify аккаунты қажет (apify.com сайтында тіркеліңіз, тегін лимит бар), API Token-ді алғаннан кейін конфигурациялауды бастауға болады.
Орнату екі кезеңнен тұрады. Алдымен нарық көзін қосу:/plugin marketplace add https://github.com/apify/agent-skills Қажетті дағдыларды орнатыңыз, мысалы әмбебап веб-скрепер:
/plugin install apify-ultimate-scraper@apify-agent-skills Сондай-ақ, барлық дағдыларды бірден орнату үшін әмбебап npx әдісін қолдануға болады:
npx skills add apify/agent-skills Орнатқаннан кейін жоба түбір каталогындағы .env файлына API Token-ды конфигурациялауды ұмытпаңыз:
APIFYTOKEN=сіздің токеніңіз
Мысалы Youtube видео деректерін алу
Мұнда маңызды бір нүкте бар. Santiago твиттерде бұл шешімнің негізгі артықшылығы құрылымдалған деректерді қайтару екенін бірнеше рет атап өтті. Мысалы, сіз Claude Code-дан белгілі бір электрондық коммерция платформасының өнімдер тізімін алуды сұрасаңыз, алынғаны - реттелген кесте (тауар атауы, бағасы, бағалау, сілтеме), оны талдау үшін тікелей пайдалануға болады, WebFetch-тің қайтарған мәтіндік қысқаша мазмұнынан әлдеқайда пайдалы.
Apify-дің төлем моделі нәтижеге негізделген, яғни тек деректерді сәтті алған кезде ғана ақша алынады. Дегенмен, жеке пайдаланушылар үшін тегін лимит көптеген нәрселерді жасауға жеткілікті.
Екінші әдіс: Apify MCP сервері
Егер сізге икемді бақылау қажет болса немесе Skills сіздің сценарийіңізді қамтымайтын болса, екінші жол бар: Apify платформасына тікелей MCP (Model Context Protocol) арқылы қосылу.
Apify MCP сервері арқылы Claude Code Apify Store-дағы мыңдаған дайын веб-скреперлер мен автоматтандыру құралдарын тікелей шақыра алады.
GitHub репозиторийінің мекенжайы: https://github.com/apify/apify-mcp-server
MCP шешімінің конфигурациясы да күрделі емес. Басқарылатын қашықтағы сервер әдісін қолдануды ұсынамыз, конфигурация ең оңай. Сіздің MCP конфигурация файлыңызға қосыңыз:
{ "mcpServers": { "apify": { "url": "https://mcp.apify.com", "headers": { "Authorization": "Bearer сіздің APIFYTOKEN" } } } } Егер сіз жергілікті орындауды қаласаңыз, Stdio әдісін қолдана аласыз:
{ "mcpServers": { "apify-mcp": { "command": "npx", "args": ["-y", "@apify/actors-mcp-server"], "env": { "APIFYTOKEN": "сіздің APIFYTOKEN" } } } } Конфигурацияны дұрыс орнатқаннан кейін, Claude Code search-actors (қол жетімді веб-скреперлерді іздеу), call-actor (веб-скрепер тапсырмасын орындау), get-dataset-items (алынған нәтижелерді алу) сияқты құралдарды шақыра алады.
Skills және MCP әдістерін екеуін де орнатуға болады, екеуі бір-бірін толықтыра алады.
Егер сіздің қажеттілігіңіз жиі, сценарий тұрақты болса (мысалы, күн сайын бәсекелес бағаларды алу), Skills қолдану оңай, алдын ала дайындалған жұмыс ағыны дайын.
Егер сіздің қажеттілігіңіз уақытша, сценарий өзгермелі болса (бүгін әлеуметтік медиа, ертең мемлекеттік ашық деректерді алу), MCP икемдірек, Apify Store-да 15000+ Актер кез келген уақытта шақыруға болады.
Екі әдістің де алғышарты бірдей: Apify аккаунты мен API Token қажет, Node.js 20.6+ орта қажет.
Бір уақыт нүктесін ескеру қажет: Apify MCP серверінің SSE тасымалдау әдісі 2026 жылдың 1 сәуірінде жойылады, сол кезде Streamable HTTP әдісіне жаңарту қажет. Егер сіз қазір конфигурациялауды бастасаңыз, жоғарыда ұсынылған конфигурацияны тікелей пайдаланыңыз, ол жаңа әдіс болып табылады.
