टोकन खपत में 80% की भारी गिरावट, क्लाउडफ्लेयर ने सर्वर को मूल रूप से मार्कडाउन का समर्थन करने दिया: ओपनक्लॉ खुशी से पागल हो जाएगा

क्लाउडफ्लेयर ने अभी-अभी Markdown for Agents नामक एक नई सुविधा जारी की है। यह नई सुविधा वेब सर्वरों को सीधे AI एजेंटों को Markdown प्रारूप में डेटा फीड करने की अनुमति देती है, जिससे भारी HTML पूरी तरह से खत्म हो जाता है।

वास्तविक परीक्षण डेटा से पता चलता है कि टोकन की खपत सीधे 80% तक गिर गई है। इसका मतलब है कम अनुमान लागत और तेज प्रतिक्रिया गति।

यह इतना महत्वपूर्ण क्यों है?

वर्तमान इंटरनेट मानव आंखों के लिए डिज़ाइन किया गया है, न कि बड़े मॉडल के लिए।

AI को मूल HTML फीड करना, डाक के डिब्बे के अंदर के पत्र को पढ़ने के बजाय प्रति शब्द भुगतान करके डाक के डिब्बे को पढ़ने जैसा है।

एक साधारण वेब पेज शीर्षक, HTML में <h2 class...> के रूप में लिखा गया है, जिसमें विभिन्न अप्रासंगिक Class, ID और Div रैपर शामिल हैं, न केवल 12-15 टोकन की खपत होती है, बल्कि यह सभी अर्थहीन शोर भी है। लेकिन अगर इसे Markdown के ## में बदल दिया जाए, तो केवल 3 टोकन की आवश्यकता होती है।

क्लाउडफ्लेयर ने एक ब्लॉग पोस्ट का वास्तविक परीक्षण किया:

• HTML संस्करण का वजन 16180 टोकन है
• रूपांतरण के बाद केवल 3150 टोकन बचे हैं

मैंने भी इसे आज़माया, और सीधे क्लाउडफ्लेयर के इस Markdown for Agents ब्लॉग पोस्ट के HTML को Google AI Studio में फेंक दिया, और इसने सीधे 178,241 टोकन का विश्लेषण किया, जो AI के लिए बिल्कुल विपरीत है।

यही कारण है कि Markdown AI युग की सार्वभौमिक भाषा बन रहा है।

यह कैसे काम करता है?

क्लाउडफ्लेयर का समाधान बहुत स्मार्ट है, इसके लिए आपको अपने मूल स्टेशन कोड को संशोधित करने की आवश्यकता नहीं है, बल्कि यह मानक सामग्री बातचीत (Content Negotiation) तंत्र का उपयोग करता है।

जब Claude Code या OpenClaw जैसे AI एजेंट अनुरोध करते हैं, तो वे हेडर में Accept: text/markdown ले जाएंगे।

क्लाउडफ्लेयर का नेटवर्क एज नोड इस अनुरोध का पता लगाने के बाद, मूल स्टेशन से HTML प्राप्त करेगा, इसे वास्तविक समय में Markdown में परिवर्तित करेगा और फिर इसे क्लाइंट को वापस कर देगा।

यह आपके वेबसाइट पर एक स्वचालित अनुवाद मशीन लगाने जैसा है, लोग HTML देखते हैं, मशीनें Markdown देखती हैं।

प्रतिक्रिया हेडर में x-markdown-tokens भी शामिल होगा। यह AI एजेंट को सामग्री को संसाधित करने से पहले दस्तावेज़ में अनुमानित टोकन की संख्या को सटीक रूप से जानने की अनुमति देता है, जिससे संदर्भ विंडो रणनीति की गणना करना आसान हो जाता है।

न केवल बचत, बल्कि नियंत्रण भी

प्रारूप रूपांतरण के अलावा, क्लाउडफ्लेयर ने Content-Signal (सामग्री संकेत) तंत्र भी पेश किया है।

प्रतिक्रिया हेडर में ai-train=yes या search=yes जैसे टैग शामिल होंगे। इसका मतलब है कि सामग्री निर्माता स्पष्ट रूप से घोषणा कर सकते हैं: क्या मेरे डेटा को AI मॉडल प्रशिक्षण के लिए उपयोग करने की अनुमति है, या क्या इसे खोज अनुक्रमणिका में प्रवेश करने की अनुमति है।

यह अराजक AI क्रॉलर दुनिया के लिए यातायात नियमों का एक सेट स्थापित करता है।

अधिक हार्डकोर विवरण

उन परिदृश्यों के लिए जिन्हें स्वचालित रूप से परिवर्तित नहीं किया जा सकता है, क्लाउडफ्लेयर ने मैनुअल टूल भी प्रदान किए हैं:

• Workers AI: AI.toMarkdown() विधि का समर्थन करता है, जो न केवल HTML को परिवर्तित कर सकता है, बल्कि PDF जैसे विभिन्न दस्तावेजों को भी संसाधित कर सकता है, और यहां तक कि स्वचालित सारांश का भी समर्थन करता है।
• ब्राउज़र रेंडरिंग API: भारी JS वाले गतिशील पृष्ठों के लिए, आप पहले क्लाउड ब्राउज़र में रेंडर कर सकते हैं, और फिर /markdown एंडपॉइंट के माध्यम से सादा पाठ आउटपुट कर सकते हैं।

साथ ही, क्लाउडफ्लेयर रडार ने डेटा आयामों को भी अपडेट किया है। अब आप विशेष रूप से AI क्रॉलर अनुरोधों के MIME प्रकार वितरण को ट्रैक कर सकते हैं। डेटा से पता चलता है कि OpenAI का OAI-Searchbot पहले से ही इस तरह से बड़ी मात्रा में Markdown डेटा प्राप्त करना शुरू कर चुका है।

तुरंत उपलब्ध

वर्तमान में यह सुविधा Beta चरण में है।

सभी Pro, Business, Enterprise योजनाएं और SSL for SaaS उपयोगकर्ता इसे मुफ्त में सक्षम कर सकते हैं।

बस कंसोल में त्वरित संचालन में Markdown for Agents स्विच चालू करें, और आपकी वेबसाइट तुरंत AI के अनुकूल हो जाएगी।

इंटरनेट का बुनियादी ढांचा Human-First से Agent-First की ओर विकसित हो रहा है।

विस्तृत जानकारी: https://blog.cloudflare.com/markdown-for-agents/