Claude Code + Apify, অবাধে সম্পূর্ণ নেট ডেটা সংগ্রহ
Claude Code + Apify, অবাধে সম্পূর্ণ নেট ডেটা সংগ্রহ
সবাইকে স্বাগতম, আমি লু গং।
যখন আপনারা Claude Code ব্যবহার করছেন, বিশেষ করে Plan mode-এ, তখন প্রায়ই WebSearch টুলের মাধ্যমে ওয়েব পেজের ডেটা সংগ্রহের প্রয়োজন পড়ে। কিন্তু প্রায়ই Fetch error-এর পরিস্থিতির সম্মুখীন হতে হয়।
এটি আসলে একটি পুরানো সমস্যা। Claude Code-এর সাথে থাকা WebFetch এবং WebSearch টুল ব্যবহার করে তথ্য খোঁজা, গবেষণা করা, 80% পরিস্থিতিতে যথেষ্ট, কিন্তু যখন JS রেন্ডার করা পেজ, লগইন প্রয়োজনীয় সাইট, অথবা বৃহৎ পরিমাণ ডেটা সংগ্রহের প্রয়োজন হয়, তখন অন্তর্নির্মিত টুলগুলি কাজ করতে পারে না।
কিছু দিন আগে, আমি সান্তিয়াগো (@svpino, AI/ML ক্ষেত্রে পরিচিত ব্লগার) এর একটি পরিকল্পনা শেয়ার করতে দেখেছিলাম, তিনি বলেছিলেন যে Claude Code ব্যবহার করে যে কোনও সাইট থেকে বাস্তব সময়ের কাঠামোবদ্ধ ডেটা টেনে আনা সম্ভব, যা সরাসরি ব্যবহারের জন্য একটি টেবিল আকারে ফেরত দেয়, এটি একটি বড় টেক্সট সারাংশ নয়। আমি এটি চেষ্টা করেছি, সত্যিই খুব কার্যকর।
আজ আমরা আলোচনা করব কীভাবে Claude Code-এ সম্পূর্ণ নেট ডেটা সংগ্রহের ক্ষমতা যুক্ত করা যায়, দুটি পথ, প্রয়োজন অনুযায়ী নির্বাচন করুন।
Claude Code-এর অন্তর্নির্মিত নেটওয়ার্ক টুলের দুর্বলতা
Claude Code-এর সাথে দুটি নেটওয়ার্ক টুল রয়েছে: WebSearch যা অনুসন্ধানের জন্য দায়ী, WebFetch যা পেজের বিষয়বস্তু সংগ্রহের জন্য দায়ী।
WebSearch তুলনামূলকভাবে সহজ, আপনি এটিকে একটি অনুসন্ধান শব্দ দেন, এটি সম্পর্কিত লিঙ্ক এবং শিরোনাম ফেরত দেয়। WebFetch একটু জটিল, আপনি এটিকে একটি URL এবং একটি প্রশ্ন দেন, এটি পেজের বিষয়বস্তু সংগ্রহ করে, Turndown লাইব্রেরি ব্যবহার করে HTML-কে Markdown-এ রূপান্তর করে, 100KB-এর মধ্যে কেটে দেয়, তারপর একটি হালকা মডেল (Haiku) ব্যবহার করে আপনাকে সারসংক্ষেপ দেয়।
সোজা কথায়, এই দুটি টুল একটি সহজ ব্রাউজারের মতো। ব্যবহারযোগ্য, কিন্তু কয়েকটি গুরুতর সমস্যা রয়েছে।
সবচেয়ে বড় সমস্যা হল JS রেন্ডার করতে অক্ষম। বর্তমানে অনেক সাইট SPA (একক পৃষ্ঠা অ্যাপ্লিকেশন), বিষয়বস্তু JS দ্বারা গতিশীলভাবে লোড হয়। X/Twitter, অনেক ই-কমার্স প্ল্যাটফর্ম, বিভিন্ন SaaS ব্যাকএন্ড, WebFetch বাস্তব বিষয়বস্তু সংগ্রহ করতে পারে না, কেবল একটি খালি খোলস পায়।
রিভার্স ক্রলিং ক্ষমতা প্রায় শূন্য। এটি প্রক্সি রোটেশন সমর্থন করে না, CAPTCHA যাচাইকরণ পরিচালনা করতে পারে না, রিভার্স ক্রলিং মেকানিজম সহ সাইটগুলির সম্মুখীন হলে এটি কেবল হালকা হয়ে যায়।
আরেকটি সমস্যা হল এটি কেবল টেক্সট সারাংশ ফেরত দেয়। যদি আপনি কাঠামোবদ্ধ ডেটা (যেমন পণ্যের দাম তালিকা, ব্যবহারকারীর মন্তব্যের তালিকা, প্রতিযোগীর কার্যকারিতা তুলনা) পেতে চান, WebFetch তা করতে পারে না, এটি আপনাকে সর্বদা একটি সংকুচিত টেক্সট দেয়।
এই তিনটি দুর্বলতা একত্রিত হয়ে Claude Code-কে ডেটা সংগ্রহের ক্ষেত্রে ব্যবহারযোগ্যতা থেকে বঞ্চিত করেছে। কিন্তু এখন একটি সমাধান রয়েছে।
পদ্ধতি ১: Apify এজেন্ট স্কিলস
Apify একটি পুরনো ক্লাউড ক্রলিং প্ল্যাটফর্ম, যা বহু বছর ধরে ওয়েব পেজ সংগ্রহ এবং স্বয়ংক্রিয়করণ করছে। সম্প্রতি তারা একটি এজেন্ট স্কিলস সেট চালু করেছে, সহজভাবে বলতে গেলে, এটি একটি প্রি-মেড স্কিল প্যাকের একটি সেট, যা AI কোডিং এজেন্টকে ডেটা সংগ্রহের জন্য কীভাবে করতে হয় তা শেখায়।
GitHub রিপোজিটরি ঠিকানা: https://github.com/apify/agent-skills
এই স্কিলসগুলি Claude Code, Cursor, Codex, Gemini CLI ইত্যাদি প্রধান AI প্রোগ্রামিং টুলগুলিকে সমর্থন করে। বর্তমানে মোট 12টি স্কিল রয়েছে, যা ব্যাপকভাবে কভার করে।
কোর apify-ultimate-scraper একটি সর্বজনীন ক্রলিং স্কিল, যা Instagram, Facebook, TikTok, YouTube, Google Maps, Google Search ইত্যাদি প্ল্যাটফর্মের ডেটা সংগ্রহ করতে পারে। মূল বিষয় হল এটি কাঠামোবদ্ধ ডেটা ফেরত দেয়, যা সরাসরি CSV বা JSON-এ রপ্তানি করা যায়, ব্যবহার করার জন্য প্রস্তুত।
অন্যান্য স্কিলগুলি প্রতিযোগী বিশ্লেষণ, ব্র্যান্ড রিভিউ মনিটরিং, ই-কমার্স ডেটা সংগ্রহ, KOL আবিষ্কার, সম্ভাব্য গ্রাহক অর্জন, প্রবণতা বিশ্লেষণ ইত্যাদি পরিস্থিতি কভার করে। যদি আপনি বাজার গবেষণা বা ব্যবসায়িক ডেটা বিশ্লেষণ করেন, তাহলে এই সেটটি সত্যিই আশ্চর্যজনক।
Claude Code-এ এই স্কিলসগুলি ইনস্টল করা খুব সহজ। পূর্বশর্ত হল একটি Apify অ্যাকাউন্ট প্রয়োজন (apify.com-এ নিবন্ধন করুন, একটি বিনামূল্যের কোটা রয়েছে), API Token পাওয়ার পর আপনি কনফিগার করা শুরু করতে পারেন।
ইনস্টলেশন দুটি ধাপে বিভক্ত। প্রথমে বাজারের উৎস যোগ করুন:/plugin marketplace add https://github.com/apify/agent-skillsএরপর আপনার প্রয়োজনীয় দক্ষতা ইনস্টল করুন, যেমন সর্বজনীন ক্রলার:
/plugin install apify-ultimate-scraper@apify-agent-skillsআপনি সাধারণ npx পদ্ধতি ব্যবহার করে একবারে সমস্ত দক্ষতা ইনস্টল করতে পারেন:
npx skills add apify/agent-skillsইনস্টল করার পর প্রকল্পের মূল ডিরেক্টরির .env ফাইলে আপনার API Token সেট করতে ভুলবেন না:
APIFYTOKEN=আপনারtoken
যেমন ইউটিউব ভিডিও ডেটা সংগ্রহ করা
এখানে একটি মূল পয়েন্ট বলা যাক। সান্তিয়াগো টুইটগুলিতে বারবার জোর দিয়েছেন, এই পরিকল্পনার মূল সুবিধা হল কাঠামোগত ডেটা ফেরত দেওয়া। যেমন আপনি ক্লড কোডকে বললে একটি ই-কমার্স প্ল্যাটফর্মের পণ্য তালিকা সংগ্রহ করতে, আপনি একটি সাজানো টেবিল (পণ্যের নাম, দাম, রেটিং, লিঙ্ক) পাবেন, যা বিশ্লেষণের জন্য সরাসরি ব্যবহার করা যায়, যা WebFetch দ্বারা ফেরত দেওয়া টেক্সট সারাংশের চেয়ে অনেক বেশি কার্যকর।
Apify-এর বিলিং মডেল হল ফলাফলের ভিত্তিতে অর্থ প্রদান, অর্থাৎ শুধুমাত্র সফলভাবে ডেটা সংগ্রহ করা হলে টাকা কাটা হয়। তবে ব্যক্তিগত ব্যবহারকারীদের জন্য, বিনামূল্যে সীমা অনেক কিছু করার জন্য যথেষ্ট।
পদ্ধতি দুই: Apify MCP সার্ভার
যদি আপনি আরও নমনীয় নিয়ন্ত্রণ চান, অথবা দক্ষতাগুলিতে আপনার দৃশ্যের জন্য কিছু অন্তর্ভুক্ত না হয়, তবে দ্বিতীয় একটি পথ রয়েছে: সরাসরি MCP (মডেল কনটেক্সট প্রোটোকল) এর মাধ্যমে Apify প্ল্যাটফর্মে সংযোগ করুন।
Apify MCP সার্ভারের মাধ্যমে, ক্লড কোড সরাসরি Apify স্টোরে থাকা হাজার হাজার প্রস্তুত ক্রলার এবং স্বয়ংক্রিয় সরঞ্জামগুলি ব্যবহার করতে পারে।
গিটহাব রিপোজিটরি ঠিকানা: https://github.com/apify/apify-mcp-server
MCP পরিকল্পনার কনফিগারেশনও জটিল নয়। হোস্ট করা দূরবর্তী সার্ভার পদ্ধতি ব্যবহার করার সুপারিশ করা হয়, কনফিগারেশন সবচেয়ে সহজ। আপনার MCP কনফিগারেশন ফাইলে যোগ করুন:
{ "mcpServers": { "apify": { "url": "https://mcp.apify.com", "headers": { "Authorization": "Bearer আপনারAPIFYTOKEN" } } } }যদি আপনি স্থানীয়ভাবে চালাতে পছন্দ করেন, তবে Stdio পদ্ধতি ব্যবহার করতে পারেন:
{ "mcpServers": { "apify-mcp": { "command": "npx", "args": ["-y", "@apify/actors-mcp-server"], "env": { "APIFYTOKEN": "আপনারAPIFYTOKEN" } } } }সবকিছু কনফিগার করার পর, ক্লড কোড search-actors (প্রাপ্য ক্রলার অনুসন্ধান), call-actor (ক্রলার কাজ সম্পাদন), get-dataset-items (সংগ্রহের ফলাফল পাওয়া) ইত্যাদি সরঞ্জামগুলি ব্যবহার করতে সক্ষম হবে।
দক্ষতা এবং MCP পদ্ধতি উভয়ই ইনস্টল করা যেতে পারে, উভয়ই পরস্পরকে পরিপূরক করে।
যদি আপনার প্রয়োজনীয়তা উচ্চ ফ্রিকোয়েন্সির, দৃশ্য স্থির (যেমন প্রতিদিন প্রতিযোগীর দাম সংগ্রহ করা), তবে দক্ষতা ব্যবহার করা আরও সহজ, পূর্বনির্ধারিত কাজের প্রবাহ বাক্স থেকে বের করেই ব্যবহার করা যায়।
যদি আপনার প্রয়োজনীয়তা অস্থায়ী, দৃশ্য পরিবর্তনশীল (আজ সামাজিক মিডিয়া সংগ্রহ, আগামীকাল সরকারী তথ্য সংগ্রহ), তবে MCP আরও নমনীয়, Apify স্টোরে 15000+ অভিনেতা রয়েছে যা যে কোনো সময় ব্যবহার করা যেতে পারে।
দুইটি পদ্ধতির জন্য একই পূর্বশর্ত: Apify অ্যাকাউন্ট এবং API Token প্রয়োজন, Node.js 20.6+ পরিবেশ প্রয়োজন।
একটি সময়সীমার বিষয়ে অবশ্যই লক্ষ্য রাখতে হবে: Apify MCP সার্ভারের SSE ট্রান্সমিশন পদ্ধতি 2026 সালের 1 এপ্রিল বাতিল করা হবে, তখন Streamable HTTP পদ্ধতিতে আপডেট করতে হবে। যদি আপনি এখন কনফিগার করতে শুরু করেন, তবে উপরে সুপারিশকৃত কনফিগারেশন ব্যবহার করুন, এটি ইতিমধ্যে নতুন পদ্ধতি।
