Claude Code + Apify, ಅಡ್ಡಹೋಗದಂತೆ ಸಂಪೂರ್ಣ ಜಾಲದ ಡೇಟಾ ಸೆರೆಹಿಡಿಯುವುದು

ನಮಸ್ಕಾರ, ನಾನು ಲು ಗಂಗ್.

ನೀವು Claude Code ಬಳಸುವಾಗ, ವಿಶೇಷವಾಗಿ Plan mode ನಲ್ಲಿ, ವೆಬ್‌ಸರ್ಚ್ ಸಾಧನವನ್ನು ಬಳಸಿಕೊಂಡು ವೆಬ್‌ಪೇಜ್ ಡೇಟಾವನ್ನು ಸೆರೆಹಿಡಿಯುವ ಅಗತ್ಯವಿರುತ್ತದೆ. ಆದರೆ, ನೀವು ಹೆಚ್ಚು ಸಮಯ Fetch error ಅನ್ನು ಎದುರಿಸುತ್ತೀರಿ.

ಇದು ವಾಸ್ತವವಾಗಿ ಹಳೆಯ ಸಮಸ್ಯೆ. Claude Code ನೊಂದಿಗೆ ಬಂದ ವೆಬ್‌ಫೆಚ್ ಮತ್ತು ವೆಬ್‌ಸರ್ಚ್ ಸಾಧನಗಳನ್ನು ಬಳಸಿಕೊಂಡು, ಮಾಹಿತಿಯನ್ನು ಹುಡುಕುವುದು, ಸಂಶೋಧನೆ ನಡೆಸುವುದು, 80% ದೃಶ್ಯಗಳಲ್ಲಿ ಸಾಕಷ್ಟು, ಆದರೆ JS ರೆಂಡರ್ ಮಾಡಿದ ಪುಟಗಳು, ಲಾಗಿನ್ ಅಗತ್ಯವಿರುವ ಸ್ಥಳಗಳು ಅಥವಾ ದೊಡ್ಡ ಪ್ರಮಾಣದ ಡೇಟಾ ಸಂಗ್ರಹಣೆಯ ಅಗತ್ಯವಿರುವಾಗ, ಒಳಗೊಂಡ ಸಾಧನಗಳು ಸಹಾಯ ಮಾಡುತ್ತಿಲ್ಲ.

ಕೆಲವು ದಿನಗಳ ಹಿಂದೆ, ನಾನು ಸಾಂಟಿಯಾಗೋ (@svpino, AI/ML ಕ್ಷೇತ್ರದ ಪ್ರಸಿದ್ಧ ಬ್ಲಾಗರ್) ಅವರಿಂದ ಹಂಚಿಕೊಂಡಿರುವ ಒಂದು ಪರಿಹಾರವನ್ನು ನೋಡಿದೆ, ಅವರು Claude Code ಅನ್ನು ಬಳಸಿಕೊಂಡು ಯಾವುದೇ ವೆಬ್‌ಸೈಟ್‌ನಿಂದ ನೇರವಾಗಿ ರಚಿತ ಡೇಟಾವನ್ನು ಪಡೆಯಬಹುದು ಎಂದು ಹೇಳಿದರು, ಇದು ನೇರವಾಗಿ ಬಳಸಬಹುದಾದ ಟೇಬಲ್ ಅನ್ನು ಹಿಂತಿರುಗಿಸುತ್ತದೆ, ಅದು ದೊಡ್ಡ ಪ್ರಮಾಣದ ಪಠ್ಯದ ಸಾರಾಂಶವಲ್ಲ. ನಾನು ಇದನ್ನು ಪ್ರಯತ್ನಿಸಿದೆ, ಇದು ವಾಸ್ತವವಾಗಿ ಉತ್ತಮವಾಗಿದೆ.

ಇಂದು Claude Code ಗೆ ಸಂಪೂರ್ಣ ಜಾಲ ಡೇಟಾ ಸಂಗ್ರಹಣಾ ಸಾಮರ್ಥ್ಯವನ್ನು ಹೇಗೆ ಸೇರಿಸಲು ಎಂಬುದರ ಬಗ್ಗೆ ಚರ್ಚಿಸುತ್ತೇವೆ, ಎರಡು ಮಾರ್ಗಗಳು, ಅಗತ್ಯಕ್ಕೆ ಅನುಗುಣವಾಗಿ ಆಯ್ಕೆ ಮಾಡಬಹುದು.

Claude Code ನ ಒಳಗೊಂಡ ಜಾಲ ಸಾಧನಗಳ ಕೊರತೆಗಳು

Claude Code ನೊಂದಿಗೆ ಎರಡು ಜಾಲ ಸಾಧನಗಳು ಇವೆ: ವೆಬ್‌ಸರ್ಚ್ ಹುಡುಕಲು, ವೆಬ್‌ಫೆಚ್ ಪುಟದ ವಿಷಯವನ್ನು ಸೆರೆಹಿಡಿಯಲು.

ವೆಬ್‌ಸರ್ಚ್ ಸುಲಭವಾಗಿದೆ, ನೀವು ಇದಕ್ಕೆ ಒಂದು ಹುಡುಕಾಟ ಪದವನ್ನು ನೀಡಿದರೆ, ಇದು ಸಂಬಂಧಿತ ಲಿಂಕ್‌ಗಳನ್ನು ಮತ್ತು ಶೀರ್ಷಿಕೆಗಳನ್ನು ಹಿಂತಿರುಗಿಸುತ್ತದೆ. ವೆಬ್‌ಫೆಚ್ ಸ್ವಲ್ಪ ಸಂಕೀರ್ಣವಾಗಿದೆ, ನೀವು ಇದಕ್ಕೆ ಒಂದು URL ಮತ್ತು ಒಂದು ಪ್ರಶ್ನೆಯನ್ನು ನೀಡಿದರೆ, ಇದು ಪುಟದ ವಿಷಯವನ್ನು ಸೆರೆಹಿಡಿಯುತ್ತದೆ, Turndown ಗ್ರಂಥಾಲಯವನ್ನು ಬಳಸಿಕೊಂಡು HTML ಅನ್ನು Markdown ಗೆ ಪರಿವರ್ತಿಸುತ್ತದೆ, 100KB ಒಳಗೆ ಕಡಿತಗೊಳಿಸುತ್ತದೆ, ನಂತರ ಒಂದು ಹಗುರವಾದ ಮಾದರಿಯನ್ನು (Haiku) ಬಳಸಿಕೊಂಡು ನಿಮಗೆ ಸಾರಾಂಶವನ್ನು ನೀಡುತ್ತದೆ.

ಸ್ಪಷ್ಟವಾಗಿ ಹೇಳುವುದಾದರೆ, ಈ ಎರಡು ಸಾಧನಗಳು ಸರಳ ಬ್ರೌಸರ್‌ನ ಸರಳ ಆವೃತ್ತಿಯಂತೆ. ಬಳಸಬಹುದು, ಆದರೆ ಕೆಲವು ಗಂಭೀರ ಸಮಸ್ಯೆಗಳಿವೆ.

ಅತಿದೊಡ್ಡ ಸಮಸ್ಯೆ JS ಅನ್ನು ರೆಂಡರ್ ಮಾಡಲು ಸಾಧ್ಯವಾಗುವುದಿಲ್ಲ. ಈಗ ಬಹಳಷ್ಟು ವೆಬ್‌ಸೈಟ್‌ಗಳು SPA (ಒಂದು ಪುಟದ ಅಪ್ಲಿಕೇಶನ್) ಆಗಿವೆ, ವಿಷಯ JS ಮೂಲಕ ಡೈನಾಮಿಕ್ ಲೋಡ್ ಆಗುತ್ತದೆ. X/Twitter, ಹಲವಾರು ಇ-ಕಾಮರ್ಸ್ ವೇದಿಕೆಗಳು, ವಿವಿಧ SaaS ಹಿಂಭಾಗ, ವೆಬ್‌ಫೆಚ್ ವಾಸ್ತವ ವಿಷಯವನ್ನು ಸೆರೆಹಿಡಿಯಲು ಸಾಧ್ಯವಾಗುವುದಿಲ್ಲ, ಕೇವಲ ಖಾಲಿ ಶೇಖಡಿಯನ್ನು ಪಡೆಯುತ್ತದೆ.

ರಿವರ್ಸ್ ಕ್ರಾಲಿಂಗ್ ಸಾಮರ್ಥ್ಯವು ಶೂನ್ಯವಾಗಿದೆ. ಪ್ರಾಕ್ಸಿ ಪರಿವರ್ತನೆಗೆ ಬೆಂಬಲವಿಲ್ಲ, CAPTCHA ದೃಢೀಕರಣವನ್ನು ನಿರ್ವಹಿಸಲು ಸಾಧ್ಯವಿಲ್ಲ, ರಿವರ್ಸ್ ಕ್ರಾಲಿಂಗ್ ಯಂತ್ರಣೆಯುಳ್ಳ ವೆಬ್‌ಸೈಟ್‌ಗಳನ್ನು ಎದುರಿಸಿದಾಗ, ನೀವು ಕೇವಲ ಕೈ ಹಾಕಬೇಕಾಗಿದೆ.

ಮರುಬಳಕೆ ಮಾಡುವುದರಲ್ಲಿ ಮಾತ್ರ ಪಠ್ಯದ ಸಾರಾಂಶವನ್ನು ಹಿಂತಿರುಗಿಸುತ್ತದೆ. ನೀವು ರಚಿತ ಡೇಟಾವನ್ನು (ಉದಾಹರಣೆಗೆ, ಉತ್ಪನ್ನದ ಬೆಲೆಯ ಪಟ್ಟಿಗಳು, ಬಳಕೆದಾರರ ವಿಮರ್ಶೆಗಳ ಪಟ್ಟಿಗಳು, ಸ್ಪರ್ಧಾತ್ಮಕ ಉತ್ಪನ್ನಗಳ ಕಾರ್ಯಕ್ಷಮತೆ ಹೋಲಿಸುವುದು) ಪಡೆಯಲು ಬಯಸಿದರೆ, ವೆಬ್‌ಫೆಚ್ ಸಾಧ್ಯವಾಗುವುದಿಲ್ಲ, ಇದು ನಿಮಗೆ ಯಾವಾಗಲೂ ಒಬ್ಬ ಒತ್ತಿಸಲಾದ ಪಠ್ಯವನ್ನು ನೀಡುತ್ತದೆ.

ಈ ಮೂರು ಕೊರತೆಗಳು ಸೇರಿ, Claude Code ಡೇಟಾ ಸಂಗ್ರಹಣೆಯ ವಿಷಯದಲ್ಲಿ ಸದಾ ಸುಲಭತೆಯನ್ನು ಕೊರತೆಯಾಗಿದೆ. ಆದರೆ ಈಗ ಪರಿಹಾರವಿದೆ.

ವಿಧಾನ 1: Apify ಏಜೆಂಟ್ ಕೌಶಲ್ಯಗಳು

Apify ಒಂದು ಹಳೆಯ ಕ್ಲೌಡ್ ಕ್ರಾಲಿಂಗ್ ವೇದಿಕೆ, ವೆಬ್‌ಪೇಜ್ ಸೆರೆಹಿಡಿಯುವುದು ಮತ್ತು ಸ್ವಾಯತ್ತಗೊಳಿಸುವುದರಲ್ಲಿ ಬಹಳ ವರ್ಷಗಳಿಂದ ಕೆಲಸ ಮಾಡುತ್ತಿದೆ. ಇತ್ತೀಚೆಗೆ ಅವರು ಏಜೆಂಟ್ ಕೌಶಲ್ಯಗಳ ಒಂದು ಸೆಟ್ನು ಬಿಡುಗಡೆ ಮಾಡಿದ್ದಾರೆ, ಸರಳವಾಗಿ ಹೇಳುವುದಾದರೆ, ಇದು AI ಕೋಡಿಂಗ್ ಏಜೆಂಟ್‌ಗಳಿಗೆ ಡೇಟಾ ಸಂಗ್ರಹಣೆ ಹೇಗೆ ಮಾಡುವುದು ಎಂಬುದನ್ನು ಕಲಿಸಲು ವಿಶೇಷವಾಗಿ ವಿನ್ಯಾಸಗೊಳಿಸಲಾದ ಕೌಶಲ್ಯಗಳ ಒಂದು ಗುಂಪಾಗಿದೆ.

GitHub ರೆಪೋಸಿಟರಿ ವಿಳಾಸ: https://github.com/apify/agent-skills

ಈ ಕೌಶಲ್ಯಗಳು Claude Code, Cursor, Codex, Gemini CLI ಮುಂತಾದ ಪ್ರಮುಖ AI ಪ್ರೋಗ್ರಾಮಿಂಗ್ ಸಾಧನಗಳನ್ನು ಬೆಂಬಲಿಸುತ್ತವೆ. ಪ್ರಸ್ತುತ ಒಟ್ಟು 12 ಕೌಶಲ್ಯಗಳಿವೆ, ವ್ಯಾಪ್ತಿಯು ಬಹಳ ವ್ಯಾಪಕವಾಗಿದೆ.

ಕೇಂದ್ರದ apify-ultimate-scraper ಒಂದು ವಿಶ್ವಾಸಾರ್ಹ ಕ್ರಾಲಿಂಗ್ ಕೌಶಲ್ಯ, ಇದು Instagram, Facebook, TikTok, YouTube, Google Maps, Google Search ಮುಂತಾದ ವೇದಿಕೆಗಳ ಡೇಟಾವನ್ನು ಸೆರೆಹಿಡಿಯಬಹುದು. ಮುಖ್ಯವಾಗಿ, ಇದು ರಚಿತ ಡೇಟಾವನ್ನು ಹಿಂತಿರುಗಿಸುತ್ತದೆ, CSV ಅಥವಾ JSON ಅನ್ನು ನೇರವಾಗಿ ರಫ್ತು ಮಾಡಬಹುದು, ಬಳಸಲು ಸಿದ್ಧವಾಗಿದೆ.

ಇತರ ಕೌಶಲ್ಯಗಳು ಸ್ಪರ್ಧಾತ್ಮಕ ವಿಶ್ಲೇಷಣೆ, ಬ್ರಾಂಡ್ ಖ್ಯಾತಿ ಮೌಲ್ಯಮಾಪನ, ಇ-ಕಾಮರ್ಸ್ ಡೇಟಾ ಸಂಗ್ರಹಣೆ, KOL ಪತ್ತೆ, ಪೋಟೆನ್ಷಿಯಲ್ ಗ್ರಾಹಕರ ಪಡೆಯುವುದು, ಪ್ರವೃತ್ತಿ ವಿಶ್ಲೇಷಣೆ ಮುಂತಾದ ದೃಶ್ಯಗಳನ್ನು ಒಳಗೊಂಡಿವೆ. ನೀವು ಮಾರುಕಟ್ಟೆ ಸಂಶೋಧನೆ ಅಥವಾ ವ್ಯಾಪಾರ ಡೇಟಾ ವಿಶ್ಲೇಷಣೆಯನ್ನು ಮಾಡುತ್ತಿದ್ದರೆ, ಈ ಸೆಟ್ ವಾಸ್ತವವಾಗಿ ಅದ್ಭುತವಾಗಿದೆ.

Claude Code ನಲ್ಲಿ ಈ ಕೌಶಲ್ಯಗಳನ್ನು ಸ್ಥಾಪಿಸಲು ಸುಲಭವಾಗಿದೆ. ಮೊದಲನೆಯದಾಗಿ, Apify ಖಾತೆ ಅಗತ್ಯವಿದೆ (apify.com ಗೆ ಹೋಗಿ ನೋಂದಣಿ ಮಾಡಿ, ಉಚಿತ ಪ್ರಮಾಣವನ್ನು ಪಡೆಯಿರಿ), API ಟೋಕನ್ ಅನ್ನು ಪಡೆಯುತ್ತಿದ್ದರೆ, ನೀವು ಕಾನ್ಫಿಗರ್ ಮಾಡಲು ಪ್ರಾರಂಭಿಸಬಹುದು.

ಸ್ಥಾಪನೆ ಎರಡು ಹಂತಗಳಲ್ಲಿ ನಡೆಯುತ್ತದೆ. ಮೊದಲು ಮಾರುಕಟ್ಟೆ ಮೂಲವನ್ನು ಸೇರಿಸಿ:/plugin marketplace add https://github.com/apify/agent-skillsನೀವು ಅಗತ್ಯವಿರುವ ಕೌಶಲ್ಯಗಳನ್ನು ಇನ್ಸ್ಟಾಲ್ ಮಾಡಿ, ಉದಾಹರಣೆಗೆ ಸಾಮಾನ್ಯ ಕ್ರಾಲರ್:

/plugin install apify-ultimate-scraper@apify-agent-skillsನೀವು ಸಾಮಾನ್ಯ npx ವಿಧಾನವನ್ನು ಬಳಸಿಕೊಂಡು ಎಲ್ಲಾ ಕೌಶಲ್ಯಗಳನ್ನು ಒಂದೇ ಬಾರಿಗೆ ಇನ್ಸ್ಟಾಲ್ ಮಾಡಬಹುದು:

npx skills add apify/agent-skillsಇನ್ಸ್ಟಾಲ್ ಮಾಡಿದ ನಂತರ ನಿಮ್ಮ ಯೋಜನೆಯ ಮೂಲ ಡೈರೆಕ್ಟರಿಯ .env ಫೈಲ್‌ನಲ್ಲಿ ನಿಮ್ಮ API ಟೋಕನ್ ಅನ್ನು ಹೊಂದಿಸಲು ಮರೆಯಬೇಡಿ:

APIFYTOKEN=ನಿಮ್ಮ ಟೋಕನ್

ಉದಾಹರಣೆಗೆ Youtube ವೀಡಿಯೊ ಡೇಟಾವನ್ನು ಕ್ರಾಲ್ ಮಾಡುವುದು

ಇಲ್ಲಿ ಒಂದು ಪ್ರಮುಖ ಅಂಶವನ್ನು ಹೇಳುತ್ತೇನೆ. Santiago ಟ್ವೀಟ್‌ನಲ್ಲಿ ಪುನರಾವೃತ್ತವಾಗಿ ಒತ್ತಿಸುತ್ತಾರೆ, ಈ ಯೋಜನೆಯ ಕೇಂದ್ರ ಲಾಭವೆಂದರೆ ಸಂರಚಿತ ಡೇಟಾವನ್ನು ಹಿಂತಿರುಗಿಸುತ್ತಿದೆ. ಉದಾಹರಣೆಗೆ ನೀವು Claude Code ಅನ್ನು ಬಳಸಿಕೊಂಡು ಯಾವುದೇ ಇ-ಕಾಮರ್ಸ್ ವೇದಿಕೆಯ ಉತ್ಪನ್ನಗಳ ಪಟ್ಟಿಯನ್ನು ಕ್ರಾಲ್ ಮಾಡಲು ಹೇಳಿದರೆ, ನೀವು ಹೊಂದಿರುವುದು ವ್ಯವಸ್ಥಿತವಾದ ಟೇಬಲ್ (ಉತ್ಪನ್ನದ ಹೆಸರು, ಬೆಲೆ, ಶ್ರೇಣೀಬದ್ಧತೆ, ಲಿಂಕ್) ಆಗಿದ್ದು, ವಿಶ್ಲೇಷಣೆಗೆ ನೇರವಾಗಿ ಬಳಸಬಹುದು, WebFetch ಹಿಂತಿರುಗಿಸುವ ಪಠ್ಯ ಸಾರಾಂಶಕ್ಕಿಂತ ಹೆಚ್ಚು ಉಪಯುಕ್ತವಾಗಿದೆ.

Apify ಯ ಚಾರ್ಜಿಂಗ್ ಮಾದರಿ ಫಲಿತಾಂಶದ ಆಧಾರದ ಮೇಲೆ, ಅಂದರೆ ಡೇಟಾವನ್ನು ಯಶಸ್ವಿಯಾಗಿ ಕ್ರಾಲ್ ಮಾಡಿದಾಗ ಮಾತ್ರ ಹಣವನ್ನು ಕಡಿತ ಮಾಡುತ್ತದೆ. ಆದರೆ ವೈಯಕ್ತಿಕ ಬಳಕೆದಾರರಿಗೆ, ಉಚಿತ ಪ್ರಮಾಣವು ಸಾಕಷ್ಟು ಕೆಲಸ ಮಾಡಲು ಸಾಕಾಗಿದೆ.

ವಿಧಾನ 2: Apify MCP ಸರ್ವರ್

ನೀವು ಹೆಚ್ಚು ಲವಚಿಕ ನಿಯಂತ್ರಣವನ್ನು ಬಯಸಿದರೆ ಅಥವಾ Skills ನಲ್ಲಿ ನಿಮ್ಮ ದೃಶ್ಯವನ್ನು ಒಳಗೊಂಡಿಲ್ಲ, ಇನ್ನೊಂದು ಮಾರ್ಗವಿದೆ: ನೇರವಾಗಿ MCP (ಮೋಡೆಲ್ ಕಾನ್ಟೆಕ್ಸ್ಟ್ ಪ್ರೋಟೋಕಾಲ್) ಮೂಲಕ Apify ವೇದಿಕೆಗೆ ಸಂಪರ್ಕಿಸುವುದು.

Apify MCP ಸರ್ವರ್ ಮೂಲಕ, Claude Code ನೇರವಾಗಿ Apify Store ನಲ್ಲಿ ಸಾವಿರಾರು ಸಿದ್ಧ ಕ್ರಾಲರ್ ಮತ್ತು ಸ್ವಾಯತ್ತ ಸಾಧನಗಳನ್ನು ಕರೆ ಮಾಡಬಹುದು.

GitHub ರೆಪೊಸಿಟರಿ ವಿಳಾಸ: https://github.com/apify/apify-mcp-server

MCP ಯೋಜನೆಯ ಕಾನ್ಫಿಗರೇಶನ್ ಸಹ ಸಂಕೀರ್ಣವಲ್ಲ. ನಿರ್ವಹಿತ ದೂರದ ಸರ್ವರ್ ವಿಧಾನವನ್ನು ಬಳಸಲು ಶಿಫಾರಸು ಮಾಡಲಾಗುತ್ತದೆ, ಇದು ಕಾನ್ಫಿಗರ್ ಮಾಡಲು ಅತ್ಯಂತ ಸುಲಭವಾಗಿದೆ. ನಿಮ್ಮ MCP ಕಾನ್ಫಿಗರೇಶನ್ ಫೈಲ್‌ನಲ್ಲಿ ಸೇರಿಸಿ:

{ "mcpServers": { "apify": { "url": "https://mcp.apify.com", "headers": { "Authorization": "Bearer ನಿಮ್ಮ APIFYTOKEN" } } } }ನೀವು ಸ್ಥಳೀಯವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸಲು ಹೆಚ್ಚು ಇಷ್ಟಪಟ್ಟರೆ, Stdio ವಿಧಾನವನ್ನು ಬಳಸಬಹುದು:

{ "mcpServers": { "apify-mcp": { "command": "npx", "args": ["-y", "@apify/actors-mcp-server"], "env": { "APIFYTOKEN": "ನಿಮ್ಮ APIFYTOKEN" } } } }`ಕಾನ್ಫಿಗರ್ ಮಾಡಿದ ನಂತರ, Claude Code search-actors (ಲಭ್ಯವಿರುವ ಕ್ರಾಲರ್‌ಗಳನ್ನು ಹುಡುಕುವುದು), call-actor (ಕ್ರಾಲರ್ ಕಾರ್ಯವನ್ನು ನಿರ್ವಹಿಸುವುದು), get-dataset-items (ಕ್ರಾಲ್ ಮಾಡಿದ ಫಲಿತಾಂಶಗಳನ್ನು ಪಡೆಯುವುದು) ಇತ್ಯಾದಿ ಸಾಧನಗಳನ್ನು ಕರೆ ಮಾಡಬಹುದು.

Skills ಮತ್ತು MCP ವಿಧಾನಗಳನ್ನು ಎರಡೂ ಇನ್ಸ್ಟಾಲ್ ಮಾಡಬಹುದು, ಎರಡೂ ಪರಸ್ಪರ ಪೂರಕವಾಗಿರುತ್ತವೆ.

ನಿಮ್ಮ ಅಗತ್ಯವು ಹೆಚ್ಚು ಆವೃತ್ತಿಯ, ದೃಶ್ಯ ಸ್ಥಿರವಾದರೆ (ಉದಾಹರಣೆಗೆ ಪ್ರತಿದಿನವೂ ಸ್ಪರ್ಧಾತ್ಮಕ ಬೆಲೆಯನ್ನು ಕ್ರಾಲ್ ಮಾಡುವುದು), Skills ಬಳಸುವುದು ಹೆಚ್ಚು ಸುಲಭ, ಪೂರ್ವನಿಯೋಜಿತ ಕಾರ್ಯಪ್ರವಾಹವು ತಕ್ಷಣ ಬಳಸಲು ಲಭ್ಯವಿದೆ.

ನಿಮ್ಮ ಅಗತ್ಯವು ತಾತ್ಕಾಲಿಕ, ದೃಶ್ಯ ಬದಲಾಯಿಸುತ್ತಿದ್ದರೆ (ಇಂದು ಸಾಮಾಜಿಕ ಮಾಧ್ಯಮವನ್ನು ಕ್ರಾಲ್ ಮಾಡುವುದು, ನಾಳೆ ಸರ್ಕಾರದ ಸಾರ್ವಜನಿಕ ಡೇಟಾವನ್ನು ಕ್ರಾಲ್ ಮಾಡುವುದು), MCP ಹೆಚ್ಚು ಲವಚಿಕವಾಗಿದೆ, Apify Store ನಲ್ಲಿ 15000+ ನಟರನ್ನು ಯಾವಾಗ ಬೇಕಾದರೂ ಕರೆ ಮಾಡಬಹುದು.

ಎರಡು ವಿಧಾನಗಳ ಮುನ್ನೋಟ ಒಂದೇ: Apify ಖಾತೆ ಮತ್ತು API ಟೋಕನ್ ಅಗತ್ಯವಿದೆ, Node.js 20.6+ ಪರಿಸರ ಅಗತ್ಯವಿದೆ.

ಒಂದು ಸಮಯದ ಅಂಶವನ್ನು ಗಮನಿಸಬೇಕು: Apify MCP ಸರ್ವರ್‌ನ SSE ಪ್ರಸರಣ ವಿಧಾನವು 2026 ಏಪ್ರಿಲ್ 1 ರಂದು ರದ್ದುಪಡಿಸಲಾಗುತ್ತದೆ, ಆ ಸಮಯದಲ್ಲಿ Streamable HTTP ವಿಧಾನಕ್ಕೆ ನವೀಕರಿಸಲು ಅಗತ್ಯವಿದೆ. ನೀವು ಈಗ ಕಾನ್ಫಿಗರ್ ಮಾಡಲು ಪ್ರಾರಂಭಿಸುತ್ತಿದ್ದರೆ, ಮೇಲಿನ ಶಿಫಾರಸು ಮಾಡಿದ ಕಾನ್ಫಿಗರೇಶನ್ ಅನ್ನು ನೇರವಾಗಿ ಬಳಸಬಹುದು, ಇದು ಹೊಸ ವಿಧಾನವಾಗಿದೆ.

ಇತರ ಗಮನಾರ್ಹ ಯೋಜನೆಗಳುBrave Search MCP Anthropic ನ ಅಧಿಕೃತ ಶೋಧ ಪರಿಹಾರವಾಗಿದೆ, ಇದು ಪ್ರತಿ ತಿಂಗಳು 2000 ಉಚಿತ ಶೋಧಗಳನ್ನು ಒದಗಿಸುತ್ತದೆ, ಇದು ದಿನನಿತ್ಯದ ಶೋಧವನ್ನು ಪೂರಕವಾಗಿ ಬಳಸಲು ಸೂಕ್ತವಾಗಿದೆ, ಆದರೆ ಇದು ಕೇವಲ ಶೋಧ ಎಂಜಿನ್ ಆಗಿದ್ದು, ರಚಿತ ಡೇಟಾ ಸಂಗ್ರಹಣೆಯನ್ನು ಮಾಡಲು ಸಾಧ್ಯವಿಲ್ಲ.

Playwright MCP ನಿಜವಾದ ಬ್ರೌಸರ್ ರೆಂಡರಿಂಗ್ ಅನ್ನು ಮಾಡಲು ಸಾಧ್ಯವಾಗುತ್ತದೆ, ಇದು JavaScript ಚಲನೆಯ ಪುಟಗಳನ್ನು ನಿರ್ವಹಿಸಲು ಸಾಧ್ಯವಾಗುತ್ತದೆ, ಇದು WebFetch ಗೆ ಸಾಧ್ಯವಾಗದ JS ತೀವ್ರ ಸ್ಥಳಗಳಿಗೆ ಸೂಕ್ತವಾಗಿದೆ. ಆದರೆ ಇದು ಸ್ವಾಯತ್ತ ಕಾರ್ಯಾಚರಣೆಗೆ ಹೆಚ್ಚು ಒತ್ತಿಸುತ್ತದೆ, Apify ನಂತೆ ದೊಡ್ಡ ಪ್ರಮಾಣದ ಡೇಟಾ ಸಂಗ್ರಹಣೆಯನ್ನು ಮಾಡಲು ಸುಲಭವಾಗುವುದಿಲ್ಲ.

Bright Data MCP ಉದ್ಯಮ ಮಟ್ಟದ ಮಾರ್ಗವನ್ನು ಅನುಸರಿಸುತ್ತದೆ, ಇದು ಪ್ರಾಕ್ಸಿ ಪರಿವರ್ತನೆ ಮತ್ತು CAPTCHA ನಿರ್ವಹಣೆಯನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ, 2026 ರಲ್ಲಿ ಹೊಸ ಉಚಿತ ಶ್ರೇಣಿಯನ್ನು (ಪ್ರತಿ ತಿಂಗಳು 5000 MCP ವಿನಂತಿಗಳು) ಪರಿಚಯಿಸಲಾಗಿದೆ, ಇದು ವಿರೋಧಿ ಕ್ರಾಲ್ ಯಂತ್ರವನ್ನು ಮೀರಿಸಲು ಅಗತ್ಯವಿರುವ ದೃಶ್ಯಗಳಿಗೆ ಸೂಕ್ತವಾಗಿದೆ.

ಈ ಕೆಲವು ಪರಿಹಾರಗಳು ಪ್ರತ್ಯೇಕವಾಗಿ ಒತ್ತಿಸುತ್ತವೆ, ಅಗತ್ಯವಿರುವಂತೆ ಜೋಡಿಸಬಹುದು. ನನ್ನ ಪ್ರಸ್ತುತ ಸಂಯೋಜನೆ ದಿನನಿತ್ಯದ ಮಾಹಿತಿಯನ್ನು ಹುಡುಕಲು WebFetch/WebSearch ಅನ್ನು ಒಳಗೊಂಡಿದೆ, Apify Skills ರಚಿತ ಡೇಟಾ ಸಂಗ್ರಹಣೆಯನ್ನು ನಿರ್ವಹಿಸುತ್ತದೆ.

Claude Code ನ ಸಂಪರ್ಕ ಸಾಮರ್ಥ್ಯ, ಒಳಗೊಂಡ ಸಾಧನಗಳು ದಿನನಿತ್ಯದ 80% ದೃಶ್ಯಗಳನ್ನು ಆವರಿಸುತ್ತವೆ, ಆದರೆ ಉಳಿದ 20% (JS ರೆಂಡರಿಂಗ್, ವಿರೋಧಿ ಕ್ರಾಲ್, ರಚಿತ ಡೇಟಾ) ಬಹಳಷ್ಟು ವಾಸ್ತವಿಕ ಕೆಲಸಗಳಲ್ಲಿ ತಪ್ಪಿಸಲು ಸಾಧ್ಯವಿಲ್ಲ. Apify ನ Agent Skills ಮತ್ತು MCP Server ಈ ಖಾಲಿತನವನ್ನು ತುಂಬಿಸುತ್ತವೆ, ಕಾನ್ಫಿಗರೇಶನ್ ಪ್ರಕ್ರಿಯೆ ಕೂಡ ಸುಲಭವಾಗಿದೆ, ಡೇಟಾ ಸಂಗ್ರಹಣೆಯ ಅಗತ್ಯವಿರುವ ವಿದ್ಯಾರ್ಥಿಗಳಿಗೆ ಪ್ರಯತ್ನಿಸಲು ಶಿಫಾರಸು ಮಾಡುತ್ತೇನೆ.