Claude Code + Apify, Pengambilan Data Seluruh Jaringan Tanpa Hambatan
Claude Code + Apify, Pengambilan Data Seluruh Jaringan Tanpa Hambatan
Halo semuanya, saya adalah Lu Gong.
Ketika Anda menggunakan Claude Code, terutama dalam mode Plan, sering kali ada kebutuhan untuk menggunakan alat WebSearch untuk mengambil data dari halaman web. Namun, sering kali Anda akan mengalami masalah Fetch error.
Ini sebenarnya adalah masalah lama. Dengan menggunakan alat WebFetch dan WebSearch bawaan Claude Code, mencari informasi dan melakukan penelitian cukup memadai dalam 80% situasi, tetapi ketika menghadapi halaman yang dirender dengan JS, situs yang memerlukan login, atau kebutuhan pengambilan data dalam skala besar, alat bawaan tidak dapat diandalkan.
Beberapa hari yang lalu, saya melihat Santiago (@svpino, seorang blogger terkenal di bidang AI/ML) membagikan sebuah solusi, dia mengatakan bahwa Anda dapat menggunakan Claude Code untuk menarik data terstruktur secara real-time dari situs mana pun, dan hasilnya adalah tabel yang dapat digunakan langsung, bukan ringkasan teks yang panjang. Saya mencoba dan memang sangat berguna.
Hari ini kita akan membahas bagaimana cara menambahkan kemampuan pengambilan data seluruh jaringan ke Claude Code, ada dua jalur yang bisa dipilih sesuai kebutuhan.
Kelemahan Alat Jaringan Bawaan Claude Code
Claude Code dilengkapi dengan dua alat jaringan: WebSearch bertugas untuk pencarian, dan WebFetch bertugas untuk mengambil konten halaman.
WebSearch cukup sederhana, Anda memberinya kata kunci pencarian, dan ia mengembalikan tautan dan judul yang relevan. WebFetch sedikit lebih kompleks, Anda memberinya URL dan sebuah pertanyaan, ia akan mengambil konten halaman, mengubah HTML menjadi Markdown menggunakan pustaka Turndown, memotong hingga 100KB, dan kemudian menggunakan model ringan (Haiku) untuk membantu Anda merangkum.
Sederhananya, kedua alat ini adalah versi browser yang sederhana. Bisa digunakan, tetapi memiliki beberapa kelemahan yang signifikan.
Masalah terbesar adalah tidak dapat merender JS. Saat ini banyak situs adalah SPA (aplikasi satu halaman), kontennya dimuat secara dinamis dengan JS. X/Twitter, banyak platform e-commerce, berbagai backend SaaS, WebFetch tidak dapat mengambil konten sebenarnya, hanya mendapatkan sebuah kerangka kosong.
Kemampuan anti-scraping juga hampir nol. Tidak mendukung rotasi proxy, tidak dapat menangani CAPTCHA, dan ketika menghadapi situs dengan mekanisme anti-scraping, Anda hanya bisa menyerah.
Satu lagi masalah adalah hanya mengembalikan ringkasan teks. Jika Anda ingin mendapatkan data terstruktur (seperti tabel harga produk, daftar ulasan pengguna, perbandingan fitur produk pesaing), WebFetch tidak dapat melakukannya, ia selalu memberikan Anda sepotong teks yang telah dipadatkan.
Ketiga kelemahan ini membuat Claude Code selalu kekurangan kemudahan penggunaan dalam hal pengambilan data. Namun sekarang ada solusi.
Metode Pertama: Keterampilan Agen Apify
Apify adalah platform crawler cloud yang sudah lama berdiri, telah melakukan pengambilan halaman web dan otomatisasi selama bertahun-tahun. Baru-baru ini mereka meluncurkan satu set Keterampilan Agen, secara sederhana adalah sekumpulan paket keterampilan yang sudah dipersiapkan, khusus untuk mengajarkan Agen Coding AI cara melakukan pengambilan data.
Alamat repositori GitHub: https://github.com/apify/agent-skills
Set Keterampilan ini mendukung Claude Code, Cursor, Codex, Gemini CLI, dan alat pemrograman AI utama lainnya. Saat ini ada total 12 keterampilan, dengan cakupan yang cukup luas.
Keterampilan inti apify-ultimate-scraper adalah keterampilan crawler serbaguna, dapat mengambil data dari platform seperti Instagram, Facebook, TikTok, YouTube, Google Maps, Google Search, dan lainnya. Kuncinya adalah ia mengembalikan data terstruktur, dapat langsung diekspor ke CSV atau JSON, siap digunakan.
Keterampilan lainnya mencakup analisis pesaing, pemantauan reputasi merek, pengambilan data e-commerce, penemuan KOL, akuisisi prospek, analisis tren, dan skenario lainnya. Jika Anda melakukan riset pasar atau analisis data bisnis, set ini benar-benar luar biasa.
Menginstal set Keterampilan ini di Claude Code juga sangat mudah. Syaratnya adalah Anda memerlukan akun Apify (daftar di apify.com, ada kuota gratis), setelah mendapatkan API Token, Anda dapat mulai mengonfigurasi.
Instalasi dibagi menjadi dua langkah. Pertama, tambahkan sumber pasar:/plugin marketplace add https://github.com/apify/agent-skills kemudian instal keterampilan yang Anda butuhkan, seperti crawler serbaguna:
/plugin install apify-ultimate-scraper@apify-agent-skills Anda juga dapat menggunakan cara umum npx untuk menginstal semua keterampilan sekaligus:
npx skills add apify/agent-skills Setelah diinstal, jangan lupa untuk mengonfigurasi Token API Anda di file .env di direktori root proyek:
APIFYTOKEN=token Anda
Misalnya Mengambil Data Video Youtube
Di sini ada poin kunci. Santiago berulang kali menekankan dalam tweetnya bahwa keuntungan utama dari solusi ini adalah mengembalikan data terstruktur. Misalnya, jika Anda meminta Claude Code untuk mengambil daftar produk dari platform e-commerce tertentu, Anda akan mendapatkan tabel yang terorganisir (nama produk, harga, rating, tautan), yang dapat langsung digunakan untuk analisis, jauh lebih berguna dibandingkan ringkasan teks yang dikembalikan oleh WebFetch.
Model penagihan Apify adalah bayar berdasarkan hasil, yang berarti Anda hanya akan dikenakan biaya jika berhasil mengambil data. Namun, untuk pengguna pribadi, kuota gratis sudah cukup untuk melakukan banyak hal.
Metode Kedua: Server MCP Apify
Jika Anda ingin kontrol yang lebih fleksibel, atau jika Skills tidak mencakup skenario Anda, ada jalan kedua: langsung terhubung ke platform Apify melalui MCP (Model Context Protocol).
Dengan Server MCP Apify, Claude Code dapat langsung memanggil ribuan crawler dan alat otomatisasi yang sudah ada di Apify Store.
Alamat repositori GitHub: https://github.com/apify/apify-mcp-server
Konfigurasi solusi MCP juga tidak rumit. Disarankan untuk menggunakan cara server jarak jauh yang dikelola, konfigurasi paling mudah. Tambahkan ke file konfigurasi MCP Anda:
{ "mcpServers": { "apify": { "url": "https://mcp.apify.com", "headers": { "Authorization": "Bearer token Anda" } } } } Jika Anda lebih suka menjalankan secara lokal, Anda dapat menggunakan cara Stdio:
{ "mcpServers": { "apify-mcp": { "command": "npx", "args": ["-y", "@apify/actors-mcp-server"], "env": { "APIFYTOKEN": "token Anda" } } } }` Setelah dikonfigurasi, Claude Code dapat memanggil search-actors (mencari crawler yang tersedia), call-actor (menjalankan tugas crawler), get-dataset-items (mengambil hasil pengambilan) dan alat lainnya.
Keterampilan dan metode MCP dapat diinstal bersamaan, keduanya dapat saling melengkapi.
Jika kebutuhan Anda adalah frekuensi tinggi dan skenario tetap (misalnya mengambil harga pesaing sekali sehari), menggunakan Skills lebih mudah, alur kerja yang sudah disiapkan siap digunakan.
Jika kebutuhan Anda bersifat sementara dan skenario berubah-ubah (hari ini mengambil data media sosial, besok mengambil data publik pemerintah), menggunakan MCP lebih fleksibel, Apify Store memiliki lebih dari 15000 Actor yang dapat dipanggil kapan saja.
Kedua cara memiliki prasyarat yang sama: memerlukan akun Apify dan Token API, memerlukan lingkungan Node.js 20.6+.
Harap diperhatikan satu titik waktu: cara transmisi SSE dari Server MCP Apify akan dihentikan pada 1 April 2026, dan perlu diperbarui ke cara HTTP Streamable. Jika Anda mulai mengonfigurasi sekarang, cukup gunakan konfigurasi yang direkomendasikan di atas, itu sudah merupakan cara baru.
