Token நுகர்வு 80% குறைப்பு, Cloudflare சேவையகங்களில் Markdown ஆதரவு: OpenClaw மகிழ்ச்சியில் திளைக்கும்

Cloudflare சமீபத்தில் Markdown for Agents என்ற புதிய அம்சத்தை வெளியிட்டுள்ளது. இந்த புதிய அம்சம் வலை சேவையகங்கள் Markdown வடிவ தரவை நேரடியாக AI Agent-களுக்கு வழங்க அனுமதிக்கிறது, இதன் மூலம் அதிகப்படியான HTML முற்றிலுமாக தவிர்க்கப்படுகிறது.

உண்மையான சோதனை தரவு, Token நுகர்வு 80% வரை நேரடியாகக் குறைந்துள்ளது என்பதைக் காட்டுகிறது. இதன் பொருள் குறைந்த அனுமான செலவுகள் மற்றும் வேகமான பதில் வேகம்.

இது ஏன் முக்கியமானது?

இன்றைய இணையம் மனித கண்களுக்காக வடிவமைக்கப்பட்டுள்ளது, பெரிய மொழி மாதிரிகளுக்காக அல்ல.

AI-க்கு மூல HTML-ஐ வழங்குவது, உள்ளே இருக்கும் கடிதத்தைப் படிப்பதற்குப் பதிலாக, கூரியர் பெட்டியின் மீதுள்ள வார்த்தைகளுக்கு பணம் செலுத்திப் படிப்பது போன்றது.

ஒரு எளிய வலைப்பக்க தலைப்பு, HTML-ல் <h2 class...> என்று எழுதப்பட்டால், அது பல்வேறு தேவையற்ற Class, ID மற்றும் Div wrapper-களைக் கொண்டிருக்கும். இது 12-15 Token-களை உட்கொள்வது மட்டுமல்லாமல், எந்தவிதமான அர்த்தமுள்ள மதிப்பும் இல்லாத சத்தமாக இருக்கிறது. ஆனால் அதை Markdown-ல் ## என்று மாற்றினால், 3 Token-கள் மட்டுமே தேவைப்படும்.

Cloudflare ஒரு வலைப்பதிவு கட்டுரையில் இதை சோதித்தது:

• HTML பதிப்பு 16180 Token-களைக் கொண்டிருந்தது.
• மாற்றத்திற்குப் பிறகு 3150 Token-களாக குறைந்தது.

நானும் முயற்சி செய்து பார்த்தேன், Cloudflare-ன் Markdown for Agents வலைப்பதிவின் HTML-ஐ நேரடியாக Google AI Studio-வில் போட்டேன், அது 178,241 token-களைப் பிரித்தெடுத்தது, இது AI-க்கு முற்றிலும் எதிரானது.

Markdown AI யுகத்தின் பொதுவான மொழியாக மாறுவதற்கு இதுவே காரணம்.

இது எப்படி வேலை செய்கிறது?

Cloudflare-ன் தீர்வு மிகவும் புத்திசாலித்தனமானது, இது உங்கள் மூலக் குறியீட்டை மாற்றத் தேவையில்லை, ஆனால் நிலையான உள்ளடக்க பேச்சுவார்த்தை (Content Negotiation) பொறிமுறையைப் பயன்படுத்துகிறது.

Claude Code அல்லது OpenClaw போன்ற AI Agent-கள் கோரிக்கை அனுப்பும் போது, அவை Header-ல் Accept: text/markdown உடன் வரும்.

Cloudflare-ன் நெட்வொர்க் எட்ஜ் நோட் இந்த கோரிக்கையை கண்டறிந்ததும், மூல நிலையத்திலிருந்து HTML-ஐப் பெற்று, அதை நிகழ்நேரத்தில் Markdown-ஆக மாற்றி, பின்னர் Client-க்கு திருப்பி அனுப்பும்.

இது உங்கள் இணையதளத்தில் தானியங்கி மொழிபெயர்ப்பாளரை வைத்திருப்பது போன்றது, மனிதர்கள் HTML-ஐப் பார்க்கிறார்கள், இயந்திரங்கள் Markdown-ஐப் பார்க்கின்றன.

பதில் Header-ல் x-markdown-tokens இணைக்கப்படும். இது AI Agent உள்ளடக்கத்தை செயலாக்கும் முன், ஆவணத்தின் மதிப்பிடப்பட்ட Token எண்ணிக்கையை துல்லியமாக அறிய உதவுகிறது, இது சூழல் சாளர உத்தியை கணக்கிட உதவுகிறது.

சேமிப்பு மட்டுமல்ல, கட்டுப்பாடும் உள்ளது

வடிவமைப்பு மாற்றத்திற்கு கூடுதலாக, Cloudflare Content-Signal (உள்ளடக்க சமிக்ஞை) பொறிமுறையையும் அறிமுகப்படுத்தியுள்ளது.

பதில் Header-ல் ai-train=yes அல்லது search=yes போன்ற குறிச்சொற்கள் இருக்கும். இதன் பொருள், உள்ளடக்கத்தை உருவாக்கியவர் தனது தரவு AI மாதிரி பயிற்சிக்கு பயன்படுத்த அனுமதிக்கப்படுகிறதா அல்லது தேடல் அட்டவணையில் நுழைய அனுமதிக்கப்படுகிறதா என்பதை தெளிவாக அறிவிக்க முடியும்.

இது குழப்பமான AI க்ராலர் உலகில் ஒரு போக்குவரத்து விதியை நிறுவுகிறது.

மேலும் கடினமான விவரங்கள்

தானாக மாற்ற முடியாத காட்சிகளுக்கு, Cloudflare கையேடு கருவிகளையும் வழங்குகிறது:

• Workers AI: AI.toMarkdown() முறையை ஆதரிக்கிறது, இது HTML-ஐ மட்டும் மாற்ற முடியாது, PDF போன்ற பல்வேறு ஆவணங்களையும் கையாள முடியும், மேலும் தானியங்கி சுருக்கத்தையும் ஆதரிக்கிறது.
• உலாவி ரெண்டரிங் API: அதிக JS கொண்ட டைனமிக் பக்கங்களுக்கு, முதலில் கிளவுட் உலாவியில் ரெண்டர் செய்து, பின்னர் /markdown எண்ட்பாயிண்ட் மூலம் வெற்று உரையை வெளியிடும்.

அதே நேரத்தில், Cloudflare Radar தரவு பரிமாணத்தையும் புதுப்பித்துள்ளது. இப்போது AI க்ராலர் கோரிக்கைகளின் MIME வகை விநியோகத்தை கண்காணிக்க முடியும். OpenAI-ன் OAI-Searchbot இந்த வழியில் Markdown தரவை அதிக அளவில் பெறத் தொடங்கியுள்ளதாக தரவு காட்டுகிறது.

உடனடியாக கிடைக்கும்

தற்போது இந்த அம்சம் Beta நிலையில் உள்ளது.

அனைத்து Pro, Business, Enterprise திட்டங்கள் மற்றும் SSL for SaaS பயனர்கள் இதை இலவசமாக இயக்கலாம்.

கன்சோலின் விரைவான செயல்பாடுகளில் Markdown for Agents சுவிட்சை இயக்கினால், உங்கள் இணையதளம் உடனடியாக AI-க்கு ஏற்றதாக மாறும்.

இணையத்தின் உள்கட்டமைப்பு, மனிதனை முதலில் கருத்தில் கொள்வதிலிருந்து, Agent-ஐ முதலில் கருத்தில் கொள்வதாக மாறுகிறது.

மேலும் விவரங்கள்: https://blog.cloudflare.com/markdown-for-agents/