Claude Code + Apify、全網データを障害なく取得する

皆さんこんにちは、私はルー工です。

皆さんがClaude Codeを使用しているとき、特にPlan modeで、WebSearchツールを利用してウェブデータを取得する必要があることがよくあります。しかし、Fetch errorの状況に直面することが多いです。

これは実際には古い問題です。Claude Codeに内蔵されているWebFetchとWebSearchツールを使用して、資料を調べたりリサーチを行ったりする場合、80%のシーンでは十分ですが、JSレンダリングのページ、ログインが必要なサイト、または大規模なデータ収集のニーズに直面すると、内蔵ツールでは対応できません。

数日前、Santiago（@svpino、AI/ML分野の著名なブロガー）が共有したソリューションを見ました。彼はClaude Codeを使ってどのサイトからでもリアルタイムの構造化データを取得できると言っていました。返されるのは直接使用できる表形式のデータであり、一段のテキストの要約ではありません。私も試してみましたが、確かに使いやすいです。

今日はClaude Codeに全網データ収集能力を追加する方法について話します。2つの方法があり、必要に応じて選択できます。

Claude Code内蔵のネットワークツールの短所

Claude Codeには2つのネットワークツールが内蔵されています：WebSearchは検索を担当し、WebFetchはページ内容を取得します。

WebSearchは比較的簡単で、検索語を与えると関連リンクとタイトルを返します。WebFetchは少し複雑で、URLと質問を与えるとページ内容を取得し、Turndownライブラリを使用してHTMLをMarkdownに変換し、100KB以内に切り詰め、軽量モデル（Haiku）を使って要約します。

要するに、これら2つのツールは簡易版のブラウザです。使用可能ですが、いくつかの致命的な欠点があります。

最大の問題はJSをレンダリングできないことです。現在、多くのウェブサイトはSPA（シングルページアプリケーション）で、内容はJSによって動的にロードされます。X/Twitter、多くのeコマースプラットフォーム、さまざまなSaaSバックエンドでは、WebFetchは実際の内容を取得できず、空の殻しか得られません。

また、反クローリング能力もほぼゼロです。プロキシのローテーションをサポートせず、CAPTCHA認証を処理できず、反クローリングメカニズムを持つサイトに遭遇すると、ただ手をこまねいているしかありません。

もう一つの痛点は、テキストの要約しか返さないことです。構造化データ（例えば、商品価格表、ユーザーコメントリスト、競合機能比較）を取得したい場合、WebFetchではできません。常に圧縮されたテキストの一部が返されます。

これら3つの短所が重なり合い、Claude Codeはデータ収集において常に使いやすさに欠けています。しかし、今は解決策があります。

方法1：Apifyエージェントスキル

Apifyは老舗のクラウドクローラープラットフォームで、ウェブデータの取得と自動化を長年行っています。最近、彼らはエージェントスキルのセットを発表しました。簡単に言うと、AIコーディングエージェントにデータ収集の方法を教えるための一連のプリセットスキルパッケージです。

GitHubリポジトリのアドレス：https://github.com/apify/agent-skills

このスキルセットはClaude Code、Cursor、Codex、Gemini CLIなどの主流AIプログラミングツールをサポートしています。現在、合計12のスキルがあり、カバー範囲は非常に広いです。

コアのapify-ultimate-scraperは万能クローラーのスキルで、Instagram、Facebook、TikTok、YouTube、Google Maps、Google Searchなどのプラットフォームからデータを取得できます。重要なのは、返されるのが構造化データであり、CSVまたはJSONとして直接エクスポートでき、すぐに使用できることです。

他のスキルは競合分析、ブランド評判モニタリング、eコマースデータ収集、KOL発見、潜在顧客獲得、トレンド分析などのシーンをカバーしています。市場調査やビジネスデータ分析を行う場合、このセットは本当に素晴らしいです。

Claude Codeにこのスキルセットをインストールするのも非常に便利です。前提として、Apifyアカウントが必要です（apify.comで登録し、無料枠があります）。APIトークンを取得したら、設定を開始できます。

インストールは2ステップに分かれています。まず、マーケットソースを追加します：/plugin marketplace add https://github.com/apify/agent-skills で必要なスキルをインストールします。例えば、万能クローラー：

/plugin install apify-ultimate-scraper@apify-agent-skills 一般的な npx 方法を使って、すべてのスキルを一度にインストールすることもできます：

npx skills add apify/agent-skills インストール後は、プロジェクトのルートディレクトリにある .env ファイルにあなたの API トークンを設定するのを忘れないでください：

APIFYTOKEN=あなたのトークン

例えば YouTube の動画データを取得する

ここで重要なポイントを述べます。サンティアゴはツイートで繰り返し強調していますが、このソリューションの核心的な利点は構造化データを返すことです。例えば、Claude Code に特定の e コマースプラットフォームの商品リストを取得させると、整理された表（商品名、価格、評価、リンク）が得られ、分析に直接使用できるため、WebFetch が返すテキストの要約よりもはるかに実用的です。

Apify の料金モデルは成果報酬型で、つまりデータを成功裏に取得した場合のみ料金が発生します。しかし、個人ユーザーにとっては、無料枠でかなりのことができます。

方法二：Apify MCP サーバー

より柔軟な制御が必要な場合や、スキルにあなたのシナリオがカバーされていない場合、もう一つの方法があります：直接 MCP（Model Context Protocol）を通じて Apify プラットフォームに接続します。

Apify MCP サーバーを通じて、Claude Code は Apify ストアにある数千の既製のクローラーや自動化ツールを直接呼び出すことができます。

GitHub リポジトリのアドレス：https://github.com/apify/apify-mcp-server

MCP ソリューションの設定も複雑ではありません。ホスティングされたリモートサーバー方式を使用することをお勧めします。設定が最も簡単です。あなたの MCP 設定ファイルに次のように追加します：

{ "mcpServers": { "apify": { "url": "https://mcp.apify.com", "headers": { "Authorization": "Bearer あなたのAPIFYTOKEN" } } } } もしローカルで実行するのが好みなら、Stdio 方法を使用できます：

{ "mcpServers": { "apify-mcp": { "command": "npx", "args": ["-y", "@apify/actors-mcp-server"], "env": { "APIFYTOKEN": "あなたのAPIFYTOKEN" } } } } 設定が完了したら、Claude Code は search-actors（利用可能なクローラーを検索）、call-actor（クローラータスクを実行）、get-dataset-items（取得結果を取得）などのツールを呼び出すことができるようになります。

スキルと MCP 方法は両方インストールできます。両者は互いに補完し合います。

もしあなたのニーズが高頻度で、シナリオが固定されている（例えば、毎日競合製品の価格を取得する）場合、スキルを使用する方が安心です。事前に設定されたワークフローはすぐに使用できます。

もしあなたのニーズが一時的で、シナリオが変化しやすい（今日はソーシャルメディアを取得し、明日は政府の公開データを取得する）場合、MCP の方が柔軟です。Apify ストアには 15000 以上のアクターがあり、いつでも呼び出すことができます。

2つの方法の前提は同じです：Apify アカウントと API トークンが必要で、Node.js 20.6 以上の環境が必要です。

重要なタイムラインに注意してください：Apify MCP サーバーの SSE 転送方式は 2026 年 4 月 1 日に廃止され、その際には Streamable HTTP 方式に更新する必要があります。今から設定を始める場合は、上記の推奨設定をそのまま使用すれば大丈夫です。すでに新しい方式です。

その他注目すべきソリューションBrave Search MCPはAnthropicが公式に推奨する検索ソリューションで、毎月2000回の無料クエリが可能で、日常の検索補助に適していますが、これは検索エンジンに過ぎず、構造化データの収集はできません。

Playwright MCPは本物のブラウザレンダリングが可能で、JavaScript動的ページを処理でき、WebFetchでは対応できないJS重度のサイトに適しています。しかし、これは自動化操作に偏っており、大規模データ収集にはApifyほど便利ではありません。

Bright Data MCPは企業向けのルートを歩んでおり、プロキシローテーションとCAPTCHA処理をサポートしています。2026年には新たに無料プラン（毎月5000回のMCPリクエスト）を導入し、反クローリングメカニズムを突破する必要があるシーンに適しています。

これらのソリューションはそれぞれ異なる特長があり、ニーズに応じて組み合わせることができます。私の現在の組み合わせは、内蔵のWebFetch/WebSearchで日常の資料検索を処理し、Apify Skillsで構造化データの収集を行っています。

Claude Codeのネットワーク機能は、内蔵ツールが日常の80%のシーンをカバーしますが、残りの20%（JSレンダリング、反クローリング、構造化データ）は多くの実際の作業で避けられないものです。ApifyのAgent SkillsとMCP Serverがこのギャップを埋めており、設定プロセスも複雑ではなく、データ収集のニーズがある方には非常におすすめです。