Claude Code + Apify, ხელმისაწვდომი მონაცემთა შეგროვება ინტერნეტში

გამარჯობა ყველას, მე ვარ ლუ გონგი.

როდესაც თქვენ იყენებთ Claude Code-ს, განსაკუთრებით Plan mode-ში, ხშირად გაქვთ საჭიროება ვებსაიტების მონაცემების შეგროვებისათვის WebSearch ინსტრუმენტის დახმარებით. მაგრამ ხშირად ხვდებით Fetch error-ის სიტუაციაში.

ეს სინამდვილეში ძველი პრობლემა არის. Claude Code-ის მიერ გაწვდილი WebFetch და WebSearch ინსტრუმენტები, მონაცემების მოძიება და კვლევა, 80%-ში საკმარისია, მაგრამ როდესაც JS-rendered გვერდებზე, შესვლის საჭირო ვებსაიტებზე, ან მასშტაბური მონაცემების შეგროვების საჭიროებაზე მიდგებით, შიდა ინსტრუმენტები ვერ უმკლავდებიან.

რამდენიმე დღის წინ, ვნახე სანტიაგოს (@svpino, AI/ML სფეროს ცნობილი ბლოგერი) მიერ გაზიარებული გადაწყვეტა, მან თქვა, რომ Claude Code-ის საშუალებით ნებისმიერი ვებსაიტიდან შეგიძლიათ რეალური სტრუქტურირებული მონაცემების მიღება, რაც პირდაპირ გამოსაყენებელი ცხრილია, არა ის, რაც დიდი ტექსტური შეჯამებაა. მე შევეცადე და მართლაც ძალიან კარგად მუშაობს.

დღეს ვისაუბრებთ იმაზე, როგორ უნდა მიაწვდოთ Claude Code-ს ინტერნეტში მონაცემების შეგროვების შესაძლებლობა, ორი გზა, საჭიროების მიხედვით.

Claude Code-ის შიდა ქსელური ინსტრუმენტების ნაკლოვანებები

Claude Code-ს აქვს ორი ქსელური ინსტრუმენტი: WebSearch პასუხისმგებელია ძიებაზე, WebFetch პასუხისმგებელია გვერდის შინაარსის შეგროვებაზე.

WebSearch შედარებით მარტივია, თქვენ მას აძლევთ ძიების სიტყვას და ის აბრუნებს შესაბამის ბმულებს და სათაურებს. WebFetch ცოტა უფრო რთულია, თქვენ მას აძლევთ URL-ს და კითხვას, ის შეაგროვებს გვერდის შინაარსს, Turndown ბიბლიოთეკის საშუალებით HTML-ს გადააქცევს Markdown-ში, 100KB-ის ფარგლებში შეზღუდავს, შემდეგ კი მსუბუქ მოდელს (Haiku) გამოიყენებს თქვენი დასკვნის დასახმარებლად.

თქვენი სიტყვებით, ეს ორი ინსტრუმენტი არის მარტივი ვებ ბრაუზერის ვერსია. შეიძლება გამოყენებულ იქნას, მაგრამ რამდენიმე სერიოზული ნაკლოვანება აქვს.

მთავარი პრობლემა არის JS-ის არ გაწვდვა. ახლა ბევრი ვებსაიტი არის SPA (ერთგვარი აპლიკაცია), შინაარსი JS-ის საშუალებით დინამიურად იტვირთება. X/Twitter, ბევრი ელექტრონული კომერციის პლატფორმა, სხვადასხვა SaaS უკანა პლატფორმები, WebFetch ვერ იღებს რეალურ შინაარსს, მხოლოდ ცარიელი ჩარჩოები იღებს.

არ აქვს რეაქციის საწინააღმდეგო შესაძლებლობა. არ უჭერს მხარს პროქსი როტაციას, ვერ უმკლავდება CAPTCHA კოდებს, როდესაც შეხვდებით ვებსაიტებს, რომლებიც რეაქციის საწინააღმდეგო მექანიზმებს იყენებენ, მხოლოდ უნდა მოეშვათ.

მეორე პრობლემა არის მხოლოდ ტექსტური შეჯამების დაბრუნება. თუ გსურთ სტრუქტურირებული მონაცემების მიღება (მაგალითად, პროდუქტის ფასების ცხრილი, მომხმარებლის კომენტარების სია, კონკურენტების ფუნქციების შედარება), WebFetch ამას ვერ აკეთებს, ის ყოველთვის გაწვდავს შეკუმშულ ტექსტს.

ეს სამი ნაკლოვანება ერთად, Claude Code-ს ყოველთვის აკლია მონაცემების შეგროვების საქმეში გამოყენების სიმარტივე. მაგრამ ახლა არსებობს გადაწყვეტა.

მეთოდი პირველი: Apify Agent Skills

Apify არის ძველი ღრუბლოვანი ვებსაიტების კრეფის პლატფორმა, რომელიც მრავალი წლის განმავლობაში აკეთებს ვებსაიტების კრეფას და ავტომატიზაციას. हाल ही में მათ გამოუშვეს Agent Skills, მარტივად რომ ვთქვათ, ეს არის წინასწარ გაწვდილი უნარების ნაკრები, რომელიც სპეციალურად ასწავლის AI Coding Agent-ს როგორ უნდა აკეთოს მონაცემების შეგროვება.

GitHub-ის საცავი: https://github.com/apify/agent-skills

ეს უნარები მხარს უჭერს Claude Code-ს, Cursor-ს, Codex-ს, Gemini CLI-ს და სხვა პოპულარულ AI პროგრამირების ინსტრუმენტებს. ამჟამად სულ 12 უნარია, რომლებიც საკმაოდ ფართო სპექტრს მოიცავს.

მთავარი apify-ultimate-scraper არის უნივერსალური კრეფის უნარი, რომელიც შეუძლია Instagram, Facebook, TikTok, YouTube, Google Maps, Google Search-ის მონაცემების კრეფა. მთავარი არის ის, რომ ის აბრუნებს სტრუქტურირებულ მონაცემებს, რომლებიც პირდაპირ შეიძლება ექსპორტირდეს CSV ან JSON ფორმატში, რაც უკვე გამოსაყენებელია.

სხვა უნარები მოიცავს კონკურენტების ანალიზს, ბრენდის რეპუტაციის მონიტორინგს, ელექტრონული კომერციის მონაცემების კრეფას, KOL-ის აღმოჩენას, პოტენციური მომხმარებლების მიღებას, ტენდენციების ანალიზს და სხვა სცენარებს. თუ თქვენ აკეთებთ ბაზრის კვლევას ან ბიზნეს მონაცემების ანალიზს, ეს ნაკრები მართლაც საოცარია.

Claude Code-ში ამ უნარების ინსტალაცია ასევე ძალიან მარტივია. წინაპირობა არის Apify ანგარიშის ქონა (რეგისტრირდით apify.com-ზე, უფასო კვოტით), API Token-ის მიღების შემდეგ შეგიძლიათ დაიწყოთ კონფიგურაცია.

ინსტალაცია ორ ეტაპად ხდება. პირველ რიგში, დაამატეთ ბაზრის წყარო:/plugin marketplace add https://github.com/apify/agent-skills再安装你需要的技能，比如万能爬虫：

/plugin install apify-ultimate-scraper@apify-agent-skills也可以用通用的npx方式一次装完所有技能：

npx skills add apify/agent-skills安装后别忘了在项目根目录的 .env 文件里配上你的API Token：

APIFYTOKEN=你的token

比如抓取Youtube视频数据

这里说个关键点。Santiago在推文里反复强调，这个方案的核心优势是返回结构化数据。比如你让Claude Code帮你抓取某个电商平台的商品列表，拿到的是整理好的表格（品名、价格、评分、链接），可以直接拿来做分析，比WebFetch返回的文字摘要实用太多了。

Apify的计费模式是按结果付费，也就是说只有成功抓到数据才扣钱。不过对个人用户来说，免费额度够做不少事了。

方法二：Apify MCP Server

如果你想要更灵活的控制，或者Skills里没有覆盖到你的场景，还有第二条路：直接通过MCP（Model Context Protocol）接入Apify平台。

通过Apify MCP Server，Claude Code可以直接调用Apify Store里数千个现成的爬虫和自动化工具。

GitHub仓库地址：https://github.com/apify/apify-mcp-server

MCP方案配置也不复杂。推荐用托管的远程服务器方式，配置最省事。在你的MCP配置文件里加上：

{ "mcpServers": { "apify": { "url": "https://mcp.apify.com", "headers": { "Authorization": "Bearer 你的APIFYTOKEN" } } } }如果你更喜欢本地运行，可以用Stdio方式：

{ "mcpServers": { "apify-mcp": { "command": "npx", "args": ["-y", "@apify/actors-mcp-server"], "env": { "APIFYTOKEN": "你的APIFYTOKEN" } } } }配好之后，Claude Code就能调用search-actors（搜索可用的爬虫）、call-actor（执行爬虫任务）、get-dataset-items（获取抓取结果）等工具了。

Skills和MCP方法可以都安装下，二者本身可以互补。

如果你的需求是高频的、场景固定的（比如每天抓一次竞品价格），用Skills更省心，预制的工作流开箱即用。

如果你的需求是临时的、场景多变的（今天抓社交媒体，明天抓政府公开数据），用MCP更灵活，Apify Store里有15000+的Actor可以随时调用。

两种方式前提都一样：需要Apify账号和API Token，需要Node.js 20.6+环境。

一定要注意一个时间节点：Apify MCP Server的SSE传输方式将在2026年4月1日废弃，届时需要更新为Streamable HTTP方式。如果你是现在开始配置，直接用上面推荐的配置就好，已经是新方式了。

其他值得关注的方案

Brave Search MCP არის Anthropic-ის ოფიციალურად რეკომენდებული ძიების გადაწყვეტა, ყოველთვიურად 2000 უფასო კითხვით, რაც შესაფერისია ყოველდღიური ძიების დამატებისთვის, მაგრამ ეს მხოლოდ ძიების ძრავია, არ შეუძლია სტრუქტურირებული მონაცემების შეგროვება.

Playwright MCP შეუძლია რეალური ბრაუზერის რენდერინგი, შეუძლია გაუმკლავდეს JavaScript-ის დინამიურ გვერდებს, რაც შესაფერისია იმ ვებსაიტებისთვის, რომლებსაც WebFetch ვერ უმკლავდება JS-ის მძიმე დატვირთვის გამო. მაგრამ ეს უფრო ავტომატიზაციისკენ არის მიმართული, Apify-სთან შედარებით ნაკლებად კომფორტულია დიდი მასშტაბის მონაცემების შეგროვებისთვის.

Bright Data MCP მიდის საწარმოო დონეზე, მხარს უჭერს პროქსის როტაციას და CAPTCHA-ს დამუშავებას, 2026 წელს ახალი უფასო პაკეტი (ყოველთვიურად 5000 MCP მოთხოვნა) შემოიღო, რაც შესაფერისია იმ სცენარებისთვის, რომლებიც უნდა დაარღვიონ ანტიკროლის მექანიზმები.

ეს რამდენიმე გადაწყვეტა თითოეულს თავისი აქცენტით აქვს, შესაძლებელია საჭიროების მიხედვით კომბინირება. ჩემი მიმდინარე კომბინაცია არის ჩაშენებული WebFetch/WebSearch ყოველდღიური ინფორმაციის საჭიროების დასაკმაყოფილებლად, Apify Skills კი სტრუქტურირებული მონაცემების შეგროვებისთვის.

Claude Code-ის ინტერნეტთან დაკავშირების შესაძლებლობა, ჩაშენებული ინსტრუმენტები ყოველდღიური 80%-ის სცენარებს მოიცავს, მაგრამ ის დარჩენილი 20% (JS რენდერინგი, ანტიკროლი, სტრუქტურირებული მონაცემები) სწორედ ისაა, რაც ბევრ პრაქტიკულ სამუშაოში ვერ აიცილებთ. Apify-ის Agent Skills და MCP Server ამ ხარვეზს ავსებენ, კონფიგურაციის პროცესი არც ისე რთულია, ძალიან რეკომენდირებულია იმ სტუდენტებისთვის, ვისაც მონაცემების შეგროვების საჭიროება აქვთ.