Claude Code + Apify, bezproblemowe zbieranie danych z całej sieci

Witajcie, jestem Lu Gong.

Kiedy korzystacie z Claude Code, szczególnie w trybie Plan, często pojawia się potrzeba wykorzystania narzędzia WebSearch do zbierania danych z stron internetowych. Jednak często napotykacie na problem Fetch error.

To tak naprawdę stary problem. Wbudowane narzędzia WebFetch i WebSearch w Claude Code wystarczają w 80% przypadków do przeszukiwania informacji i prowadzenia badań, ale gdy natrafimy na strony renderowane w JS, witryny wymagające logowania lub potrzeby zbierania dużych ilości danych, wbudowane narzędzia nie dają rady.

Kilka dni temu widziałem, jak Santiago (@svpino, znany bloger w dziedzinie AI/ML) podzielił się rozwiązaniem, które pozwala na pobieranie z Claude Code z dowolnej strony danych strukturalnych w czasie rzeczywistym, które są zwracane w formie tabeli, a nie jako długi tekstowy podsumowanie. Przetestowałem to i rzeczywiście działa bardzo dobrze.

Dziś porozmawiamy o tym, jak dodać do Claude Code zdolność zbierania danych z całej sieci, są dwie ścieżki, wybierz według potrzeb.

Wady wbudowanych narzędzi sieciowych Claude Code

Claude Code ma dwa wbudowane narzędzia sieciowe: WebSearch odpowiedzialne za wyszukiwanie oraz WebFetch odpowiedzialne za zbieranie treści stron.

WebSearch jest dość prosty, podajesz mu słowo kluczowe, a on zwraca powiązane linki i tytuły. WebFetch jest nieco bardziej skomplikowany, podajesz mu URL i pytanie, a on zbiera treść strony, przekształca HTML na Markdown za pomocą biblioteki Turndown, skraca do 100 KB, a następnie używa lekkiego modelu (Haiku), aby pomóc w podsumowaniu.

Mówiąc wprost, te dwa narzędzia to uproszczona wersja przeglądarki. Działają, ale mają kilka poważnych wad.

Największym problemem jest brak możliwości renderowania JS. Wiele stron internetowych to SPA (aplikacje jednostronicowe), których treść ładowana jest dynamicznie za pomocą JS. X/Twitter, wiele platform e-commerce, różne zaplecza SaaS, WebFetch nie może pobrać rzeczywistej treści, może tylko uzyskać pustą powłokę.

Zdolność do unikania blokad jest praktycznie zerowa. Nie obsługuje rotacji proxy, nie może obsługiwać CAPTCHA, a w przypadku stron z mechanizmami blokującymi zbieranie danych, po prostu nie działa.

Kolejnym problemem jest to, że zwraca tylko streszczenie tekstowe. Jeśli chcesz uzyskać dane strukturalne (na przykład tabelę cen produktów, listę recenzji użytkowników, porównanie funkcji konkurencji), WebFetch nie jest w stanie tego zrobić, zawsze zwraca jedynie skompresowany tekst.

Te trzy wady sprawiają, że Claude Code zawsze brakuje użyteczności w zakresie zbierania danych. Ale teraz mamy rozwiązanie.

Metoda pierwsza: Umiejętności Apify Agent

Apify to uznana platforma do zbierania danych w chmurze, która zajmuje się zbieraniem danych z stron internetowych i automatyzacją od wielu lat. Ostatnio wprowadzili zestaw Umiejętności Agentów, mówiąc prosto, to zestaw gotowych pakietów umiejętności, które uczą AI Coding Agent, jak zbierać dane.

Adres repozytorium GitHub: https://github.com/apify/agent-skills

Ten zestaw Umiejętności wspiera Claude Code, Cursor, Codex, Gemini CLI i inne popularne narzędzia do programowania AI. Obecnie dostępnych jest 12 umiejętności, które obejmują szeroki zakres.

Kluczowa umiejętność apify-ultimate-scraper to uniwersalna umiejętność zbierania danych, która może zbierać dane z platform takich jak Instagram, Facebook, TikTok, YouTube, Google Maps, Google Search. Kluczowe jest to, że zwraca dane strukturalne, które można bezpośrednio eksportować do CSV lub JSON, gotowe do użycia.

Inne umiejętności obejmują analizę konkurencji, monitorowanie reputacji marki, zbieranie danych e-commerce, odkrywanie KOL, pozyskiwanie potencjalnych klientów, analizę trendów i inne scenariusze. Jeśli zajmujesz się badaniami rynkowymi lub analizą danych biznesowych, ten zestaw jest po prostu niesamowity.

Instalacja tego zestawu Umiejętności w Claude Code jest również bardzo prosta. Warunkiem jest posiadanie konta Apify (zarejestruj się na apify.com, dostępne są darmowe limity), po uzyskaniu tokena API można rozpocząć konfigurację.

Instalacja składa się z dwóch kroków. Najpierw dodaj źródło rynkowe:/plugin marketplace add https://github.com/apify/agent-skills Następnie zainstaluj potrzebne umiejętności, takie jak uniwersalny skrobak:

/plugin install apify-ultimate-scraper@apify-agent-skills Możesz również użyć ogólnej metody npx, aby zainstalować wszystkie umiejętności za jednym razem:

npx skills add apify/agent-skills Po zainstalowaniu nie zapomnij skonfigurować swojego tokena API w pliku .env w katalogu głównym projektu:

APIFYTOKEN=twójtoken

Na przykład zbieranie danych z filmów YouTube

Tutaj jest kluczowy punkt. Santiago wielokrotnie podkreślał w tweetach, że główną zaletą tego rozwiązania jest zwracanie danych w ustrukturyzowanej formie. Na przykład, jeśli poprosisz Claude Code o zebranie listy produktów z jakiejś platformy e-commerce, otrzymasz uporządkowaną tabelę (nazwa, cena, ocena, link), którą można bezpośrednio wykorzystać do analizy, co jest znacznie bardziej praktyczne niż tekstowe streszczenie zwracane przez WebFetch.

Model rozliczeń Apify oparty jest na płatności za wyniki, co oznacza, że płacisz tylko za dane, które udało się skutecznie zebrać. Jednak dla użytkowników indywidualnych darmowy limit wystarcza na wiele działań.

Metoda druga: Serwer Apify MCP

Jeśli chcesz mieć większą elastyczność w kontroli lub jeśli umiejętności nie obejmują twojego scenariusza, istnieje druga droga: bezpośrednie połączenie z platformą Apify przez MCP (Model Context Protocol).

Dzięki Serwerowi Apify MCP, Claude Code może bezpośrednio korzystać z tysięcy gotowych skrobaków i narzędzi automatyzacyjnych w Apify Store.

Adres repozytorium GitHub: https://github.com/apify/apify-mcp-server

Konfiguracja rozwiązania MCP nie jest skomplikowana. Zaleca się korzystanie z zarządzanego zdalnego serwera, co jest najprostsze w konfiguracji. Dodaj do swojego pliku konfiguracyjnego MCP:

{ "mcpServers": { "apify": { "url": "https://mcp.apify.com", "headers": { "Authorization": "Bearer twójAPIFYTOKEN" } } } } Jeśli wolisz uruchamiać lokalnie, możesz użyć metody Stdio:

{ "mcpServers": { "apify-mcp": { "command": "npx", "args": ["-y", "@apify/actors-mcp-server"], "env": { "APIFYTOKEN": "twójAPIFY_TOKEN" } } } }` Po skonfigurowaniu, Claude Code będzie mógł korzystać z narzędzi takich jak search-actors (wyszukiwanie dostępnych skrobaków), call-actor (wykonywanie zadań skrobaka), get-dataset-items (uzyskiwanie wyników zbierania) itp.

Możesz zainstalować zarówno umiejętności, jak i metodę MCP, ponieważ obie mogą się uzupełniać.

Jeśli twoje potrzeby są częste i scenariusz jest stały (na przykład codzienne zbieranie cen konkurencji), korzystanie z umiejętności jest bardziej bezproblemowe, a gotowe przepływy pracy są gotowe do użycia.

Jeśli twoje potrzeby są tymczasowe i scenariusz zmienia się (dzisiaj zbieranie danych z mediów społecznościowych, jutro zbieranie danych publicznych rządu), korzystanie z MCP jest bardziej elastyczne, a w Apify Store jest ponad 15000 Aktorów, których można w każdej chwili wywołać.

Obie metody mają ten sam warunek: potrzebujesz konta Apify i tokena API, oraz środowiska Node.js 20.6+.

Należy zwrócić uwagę na jeden termin: metoda przesyłania SSE Serwera Apify MCP zostanie wycofana 1 kwietnia 2026 roku, wówczas konieczna będzie aktualizacja do metody Streamable HTTP. Jeśli zaczynasz konfigurować teraz, po prostu użyj powyższej zalecanej konfiguracji, to już jest nowa metoda.

Inne warte uwagi rozwiązaniaBrave Search MCP to oficjalnie rekomendowane rozwiązanie wyszukiwawcze przez Anthropic, oferujące 2000 darmowych zapytań miesięcznie, idealne do codziennych uzupełnień wyszukiwania, ale jest to tylko wyszukiwarka, która nie może zbierać danych strukturalnych.

Playwright MCP może wykonywać prawdziwe renderowanie w przeglądarce, potrafi obsługiwać dynamiczne strony JavaScript, co jest odpowiednie dla stron o dużej intensywności JS, z którymi WebFetch sobie nie radzi. Jednak bardziej skupia się na automatyzacji, więc nie jest tak wygodne jak Apify do zbierania danych na dużą skalę.

Bright Data MCP podąża ścieżką klasy przedsiębiorstw, wspiera rotację proxy i obsługę CAPTCHA, w 2026 roku wprowadzono nowy darmowy plan (5000 zapytań MCP miesięcznie), odpowiedni dla scenariuszy, które muszą przełamać mechanizmy ochrony przed skrobaniem.

Te kilka rozwiązań ma swoje mocne strony i można je łączyć w zależności od potrzeb. Moja obecna kombinacja to wbudowane WebFetch/WebSearch do codziennych potrzeb związanych z wyszukiwaniem informacji oraz Apify Skills do zbierania danych strukturalnych.

Możliwości sieciowe Claude Code oraz wbudowane narzędzia mogą pokryć 80% codziennych scenariuszy, ale te pozostałe 20% (renderowanie JS, ochrona przed skrobaniem, dane strukturalne) to właśnie te aspekty, które są nieuniknione w wielu rzeczywistych pracach. Umiejętności Agenta Apify i serwer MCP wypełniają tę lukę, a proces konfiguracji nie jest skomplikowany, zdecydowanie polecam spróbować osobom, które mają potrzeby związane z zbieraniem danych.