Token کی کھپت میں 80% کمی، Cloudflare نے سرور کو مقامی طور پر Markdown کی حمایت کرنے کے قابل بنایا: OpenClaw خوشی سے پاگل ہو جائے گا

Cloudflare نے حال ہی میں ایک نئی خصوصیت جاری کی ہے جسے Markdown for Agents کہا جاتا ہے۔ یہ نئی خصوصیت ویب سرورز کو براہ راست AI Agent کو Markdown فارمیٹ میں ڈیٹا فراہم کرنے کی اجازت دیتی ہے، اور بھاری HTML کو مکمل طور پر ترک کر دیتی ہے۔

حقیقی دنیا کے ٹیسٹ کے اعداد و شمار سے پتہ چلتا ہے کہ Token کی کھپت میں براہ راست 80% کمی واقع ہوئی ہے۔ اس کا مطلب ہے کم استدلال کی لاگت، اور تیز تر ردعمل کی رفتار۔

یہ کیوں اہم ہے؟

موجودہ انٹرنیٹ انسانی آنکھوں کے لیے ڈیزائن کیا گیا ہے، نہ کہ بڑے ماڈلز کے لیے۔

خام HTML کو AI کو کھلانا ایسا ہی ہے جیسے خط پڑھنے کے بجائے کورئیر کے پیکج کو پڑھنے کے لیے فی لفظ ادائیگی کرنا۔

ایک سادہ ویب صفحہ کا عنوان، HTML میں <h2 class...> کے طور پر لکھا جاتا ہے، جس میں مختلف غیر متعلقہ کلاسز، IDs اور Div ریپرز شامل ہوتے ہیں، نہ صرف 12-15 Token استعمال ہوتے ہیں، بلکہ یہ سب غیر معنی خیز شور بھی ہے۔ لیکن اگر اسے Markdown کے ## میں تبدیل کیا جائے تو صرف 3 Token درکار ہوں گے۔

Cloudflare نے ایک بلاگ پوسٹ کا حقیقی دنیا میں تجربہ کیا:

• HTML ورژن کا وزن 16180 Token تھا۔
• تبدیلی کے بعد صرف 3150 Token باقی رہ گئے۔

میں نے بھی کوشش کی، اور براہ راست Cloudflare کی اس Markdown for Agents بلاگ پوسٹ کے html کو Google AI Studio میں پھینک دیا، اور اس نے براہ راست 178,241 token کا تجزیہ کیا، جو کہ AI کے خلاف ہے۔

یہی وجہ ہے کہ Markdown AI دور میں ایک عام زبان بن رہی ہے۔

یہ کیسے کام کرتا ہے؟

Cloudflare کا حل بہت ہوشیار ہے، اس کے لیے آپ کو اپنے اصل سائٹ کوڈ میں ترمیم کرنے کی ضرورت نہیں ہے، بلکہ یہ معیاری مواد گفت و شنید (Content Negotiation) کے طریقہ کار کا استعمال کرتا ہے۔

جب Claude Code یا OpenClaw جیسے AI Agent درخواست کرتے ہیں، تو وہ ہیڈر میں Accept: text/markdown شامل کریں گے۔

Cloudflare کا نیٹ ورک ایج نوڈ اس درخواست کا پتہ لگانے کے بعد، اصل سائٹ سے HTML حاصل کرے گا، اسے حقیقی وقت میں Markdown میں تبدیل کرے گا، اور پھر اسے کلائنٹ کو واپس کر دے گا۔

یہ ایسا ہی ہے جیسے آپ کی ویب سائٹ پر ایک خودکار مترجم نصب ہو، انسان HTML دیکھتا ہے، اور مشین Markdown دیکھتی ہے۔

رسپانس ہیڈر میں x-markdown-tokens بھی شامل ہوگا۔ یہ AI Agent کو مواد پر کارروائی کرنے سے پہلے، دستاویز میں متوقع Token کی تعداد کو درست طور پر جاننے کی اجازت دیتا ہے، جس سے سیاق و سباق کی ونڈو کی حکمت عملی کا حساب لگانا آسان ہو جاتا ہے۔

نہ صرف ڈیٹا کی بچت، بلکہ کنٹرول بھی

فارمیٹ کی تبدیلی کے علاوہ، Cloudflare نے Content-Signal (مواد کا اشارہ) میکانزم بھی متعارف کرایا ہے۔

رسپانس ہیڈر میں ai-train=yes یا search=yes جیسے ٹیگز شامل ہوں گے۔ اس کا مطلب ہے کہ مواد کے تخلیق کار واضح طور پر اعلان کر سکتے ہیں: کیا میرے ڈیٹا کو AI ماڈل کی تربیت کے لیے استعمال کرنے کی اجازت ہے، یا کیا اسے سرچ انڈیکس میں داخل ہونے کی اجازت ہے۔

اس سے AI کرالر کی افراتفری والی دنیا کے لیے ٹریفک قوانین کا ایک مجموعہ قائم ہوتا ہے۔

مزید ہارڈ ویئر کی تفصیلات

ان منظرناموں کے لیے جنہیں خود بخود تبدیل نہیں کیا جا سکتا، Cloudflare نے دستی ٹولز بھی فراہم کیے ہیں:

• Workers AI: AI.toMarkdown() طریقہ کی حمایت کرتا ہے، جو نہ صرف HTML کو تبدیل کر سکتا ہے، بلکہ PDF جیسی مختلف دستاویزات کو بھی سنبھال سکتا ہے، اور یہاں تک کہ خودکار خلاصہ بھی کر سکتا ہے۔
• براؤزر رینڈرنگ API: بھاری JS والے متحرک صفحات کے لیے، آپ پہلے کلاؤڈ براؤزر میں رینڈر کر سکتے ہیں، اور پھر /markdown اینڈ پوائنٹ کے ذریعے سادہ متن آؤٹ پٹ کر سکتے ہیں۔

اس کے ساتھ ہی، Cloudflare Radar نے ڈیٹا کے طول و عرض کو بھی اپ ڈیٹ کیا ہے۔ اب آپ خاص طور پر AI کرالر کی درخواستوں کی MIME قسم کی تقسیم کو ٹریک کر سکتے ہیں۔ اعداد و شمار سے پتہ چلتا ہے کہ OpenAI کا OAI-Searchbot پہلے ہی اس طریقے سے Markdown ڈیٹا کی ایک بڑی مقدار حاصل کرنا شروع کر چکا ہے۔

فوری طور پر دستیاب

فی الحال یہ خصوصیت Beta مرحلے میں ہے۔

تمام Pro، Business، Enterprise منصوبوں اور SSL for SaaS صارفین کے لیے مفت میں فعال کی جا سکتی ہے۔

بس کنسول میں فوری کارروائیوں میں Markdown for Agents سوئچ کو آن کریں، اور آپ کی ویب سائٹ فوری طور پر AI کے لیے دوستانہ ہو جائے گی۔

انٹرنیٹ کا بنیادی ڈھانچہ Human-First سے Agent-First کی طرف بڑھ رہا ہے۔

تفصیلی معلومات: https://blog.cloudflare.com/markdown-for-agents/