Claude Code + Apify, Engelli Erişimle Tüm Ağ Verilerini Toplama

Merhaba, ben Lu Gong.

Claude Code'u kullanırken, özellikle Plan modundayken, web sayfası verilerini toplamak için WebSearch aracını kullanma ihtiyacı sıkça ortaya çıkıyor. Ancak sık sık Fetch hatası ile karşılaşıyoruz.

Bu aslında eski bir sorun. Claude Code'un kendi WebFetch ve WebSearch araçları ile bilgi araştırmak ve araştırma yapmak, %80'lik durumlarda yeterli, ancak JS ile render edilen sayfalara, giriş gerektiren sitelere veya büyük ölçekli veri toplama ihtiyaçlarına geldiğinde, yerleşik araçlar yetersiz kalıyor.

Geçen gün, Santiago'nun (@svpino, AI/ML alanında tanınmış bir blog yazarı) paylaştığı bir çözüm setini gördüm. Claude Code ile herhangi bir web sitesinden gerçek zamanlı yapılandırılmış verileri çekebileceğini söyledi. Dönen sonuç, doğrudan kullanılabilir bir tablo, uzun bir metin özeti değil. Ben de denedim, gerçekten çok kullanışlı.

Bugün Claude Code'a tüm ağ veri toplama yeteneğini nasıl ekleyeceğimizi konuşalım, iki yol var, ihtiyaca göre seçim yapabilirsiniz.

Claude Code'un Yerleşik Ağ Araçlarının Eksiklikleri

Claude Code'un iki yerleşik ağ aracı var: WebSearch arama yapar, WebFetch sayfa içeriğini toplar.

WebSearch oldukça basit, ona bir arama terimi veriyorsunuz, ilgili bağlantıları ve başlıkları döndürüyor. WebFetch biraz daha karmaşık, ona bir URL ve bir soru veriyorsunuz, sayfa içeriğini topluyor, Turndown kütüphanesi aracılığıyla HTML'yi Markdown'a çeviriyor, 100KB içinde kesiyor ve ardından hafif bir model (Haiku) ile özetliyor.

Kısacası, bu iki araç basit bir tarayıcı versiyonu. Kullanılabilir, ancak birkaç ciddi eksikliği var.

En büyük sorun, JS'i render edememesi. Şu anda birçok web sitesi SPA (tek sayfa uygulaması), içerik JS ile dinamik olarak yükleniyor. X/Twitter, birçok e-ticaret platformu, çeşitli SaaS arka uçları, WebFetch gerçek içeriği yakalayamıyor, sadece boş bir kabuk alabiliyor.

Ayrıca, bot koruma yeteneği neredeyse sıfır. Proxy döngüsünü desteklemiyor, CAPTCHA doğrulama kodlarını işleyemiyor, bot koruma mekanizması olan bir siteyle karşılaştığında sadece beklemek zorunda kalıyor.

Bir diğer sorun ise sadece metin özetleri döndürmesi. Yapılandırılmış verileri (örneğin, ürün fiyat listesi, kullanıcı yorumları listesi, rakip ürün özellik karşılaştırması) almak istiyorsanız, WebFetch bunu yapamıyor, size her zaman sıkıştırılmış bir metin veriyor.

Bu üç eksiklik bir araya geldiğinde, Claude Code'un veri toplama konusunda her zaman kullanılabilirlikten yoksun kalmasına neden oluyor. Ancak şimdi bir çözüm var.

Yöntem 1: Apify Agent Skills

Apify, uzun yıllardır web sayfası toplama ve otomasyon konusunda faaliyet gösteren köklü bir bulut tarayıcı platformudur. Son zamanlarda bir dizi Agent Skills tanıttılar, basitçe söylemek gerekirse, AI Coding Agent'e veri toplama nasıl yapılacağını öğreten önceden hazırlanmış bir yetenek paketi.

GitHub depo adresi: https://github.com/apify/agent-skills

Bu yetenekler, Claude Code, Cursor, Codex, Gemini CLI gibi popüler AI programlama araçlarını destekliyor. Şu anda toplamda 12 yetenek var, kapsamı oldukça geniş.

Temel apify-ultimate-scraper, Instagram, Facebook, TikTok, YouTube, Google Maps, Google Search gibi platformlardan veri toplayabilen evrensel bir tarayıcı yeteneğidir. Anahtar nokta, dönen verinin yapılandırılmış olması, CSV veya JSON olarak doğrudan dışa aktarılabiliyor, hemen kullanılabiliyor.

Diğer yetenekler, rakip analizi, marka itibar izleme, e-ticaret veri toplama, KOL keşfi, potansiyel müşteri edinme, trend analizi gibi senaryoları kapsıyor. Pazar araştırması veya ticari veri analizi yapıyorsanız, bu set gerçekten harika.

Claude Code'a bu yetenekleri kurmak da oldukça kolay. Öncelikle bir Apify hesabına ihtiyacınız var (apify.com'dan kaydolun, ücretsiz bir kota var), API Token'ı aldıktan sonra yapılandırmaya başlayabilirsiniz.

Kurulum iki adımda gerçekleşiyor. Öncelikle pazar kaynağını ekleyin:/plugin marketplace add https://github.com/apify/agent-skills ardından ihtiyaç duyduğunuz becerileri yükleyin, örneğin evrensel tarayıcı:

/plugin install apify-ultimate-scraper@apify-agent-skills ayrıca genel npx yöntemiyle tüm becerileri bir kerede yükleyebilirsiniz:

npx skills add apify/agent-skills Yükledikten sonra, proje kök dizinindeki .env dosyasında API Token'ınızı ayarlamayı unutmayın:

APIFYTOKEN=tokeniniz

Örneğin Youtube video verilerini çekme

Burada önemli bir noktaya değinmek istiyorum. Santiago, tweetlerinde bu çözümün temel avantajının yapılandırılmış veri döndürmek olduğunu vurguladı. Örneğin, Claude Code'dan bir e-ticaret platformundaki ürün listesini çekmesini isterseniz, düzenlenmiş bir tablo (ürün adı, fiyat, puan, bağlantı) alırsınız; bu, WebFetch'in döndürdüğü metin özetlerinden çok daha kullanışlıdır.

Apify'nin ücretlendirme modeli sonuçlara göre ödeme yapmaktır, yani yalnızca verileri başarıyla çektiğinizde ücret alınır. Ancak bireysel kullanıcılar için, ücretsiz limit birçok şey yapmak için yeterlidir.

Yöntem İki: Apify MCP Sunucusu

Daha esnek bir kontrol istiyorsanız veya Beceriler sizin senaryonuzu kapsamıyorsa, ikinci bir yol vardır: doğrudan MCP (Model Context Protocol) aracılığıyla Apify platformuna bağlanmak.

Apify MCP Sunucusu aracılığıyla, Claude Code, Apify Store'daki binlerce hazır tarayıcı ve otomasyon aracını doğrudan çağırabilir.

GitHub depo adresi: https://github.com/apify/apify-mcp-server

MCP çözüm yapılandırması da karmaşık değildir. Yönetilen uzak sunucu yöntemini kullanmanızı öneririm, bu en pratik yapılandırmadır. MCP yapılandırma dosyanıza şunları ekleyin:

{ "mcpServers": { "apify": { "url": "https://mcp.apify.com", "headers": { "Authorization": "Bearer APIFYTOKEN'iniz" } } } } Eğer yerel çalışmayı tercih ediyorsanız, Stdio yöntemiyle de yapabilirsiniz:

{ "mcpServers": { "apify-mcp": { "command": "npx", "args": ["-y", "@apify/actors-mcp-server"], "env": { "APIFYTOKEN": "APIFYTOKEN'iniz" } } } }` Yapılandırmayı tamamladıktan sonra, Claude Code, search-actors (kullanılabilir tarayıcıları arama), call-actor (tarayıcı görevini yürütme), get-dataset-items (çekim sonuçlarını alma) gibi araçları çağırabilir.

Beceri ve MCP yöntemlerini her ikisini de yükleyebilirsiniz, her ikisi de birbirini tamamlayabilir.

Eğer ihtiyacınız yüksek frekanslı ve sabit bir senaryo ise (örneğin, her gün rakip fiyatlarını çekmek), Becerileri kullanmak daha kolaydır; önceden hazırlanmış iş akışları kutudan çıkar çıkmaz kullanılabilir.

Eğer ihtiyacınız geçici ve değişken senaryolar ise (bugün sosyal medyayı, yarın hükümetin açık verilerini çekmek), MCP daha esnektir; Apify Store'da her zaman çağırabileceğiniz 15000+ Aktör bulunmaktadır.

Her iki yöntem için de ön koşul aynıdır: Apify hesabı ve API Token'ına ihtiyaç vardır, ayrıca Node.js 20.6+ ortamı gereklidir.

Bir zaman dilimine dikkat etmelisiniz: Apify MCP Sunucusu'nun SSE iletimi 1 Nisan 2026'da kaldırılacaktır; bu tarihte Streamable HTTP yöntemine güncelleme yapmanız gerekecektir. Eğer şu anda yapılandırmaya başlıyorsanız, yukarıda önerilen yapılandırmayı doğrudan kullanabilirsiniz; bu zaten yeni yöntemdir.

Diğer Dikkate Değer ÇözümlerBrave Search MCP, Anthropic tarafından resmi olarak önerilen bir arama çözümüdür, ayda 2000 ücretsiz sorgu ile günlük arama ihtiyaçlarını karşılamak için uygundur, ancak sadece bir arama motorudur ve yapılandırılmış veri toplama işlemi yapamaz.

Playwright MCP, gerçek bir tarayıcı render'ı yapabilir, JavaScript dinamik sayfalarını işleyebilir, bu da WebFetch'in başa çıkamadığı JS yoğun siteler için uygundur. Ancak, daha çok otomasyon işlemlerine yöneliktir ve büyük ölçekli veri toplama için Apify kadar pratik değildir.

Bright Data MCP, kurumsal düzeyde bir yol izler, proxy döngüsü ve CAPTCHA işleme desteği sunar, 2026'da yeni bir ücretsiz plan (ayda 5000 MCP isteği) sunmuştur, bu da anti-scraping mekanizmalarını aşma ihtiyacı olan senaryolar için uygundur.

Bu çözümlerin her biri farklı yönlere odaklanmıştır ve ihtiyaçlara göre birleştirilebilir. Şu anki kombinasyonum, günlük bilgi arama ihtiyaçlarını karşılamak için yerleşik WebFetch/WebSearch kullanmakta, yapılandırılmış veri toplama için Apify Skills kullanmaktadır.

Claude Code'un bağlantı yetenekleri, yerleşik araçlar günlük senaryoların %80'ini kapsayabilir, ancak geriye kalan %20'si (JS render'ı, anti-scraping, yapılandırılmış veri) birçok pratik işte kaçınılmazdır. Apify'nin Agent Skills ve MCP Server bu boşluğu doldurmuştur, yapılandırma süreci de karmaşık değildir, veri toplama ihtiyacı olan arkadaşların denemelerini şiddetle tavsiye ederim.