ટોકન વપરાશમાં 80%નો ઘટાડો, ક્લાઉડફ્લેર સર્વરને મૂળરૂપે માર્કડાઉન સપોર્ટ કરવા દે છે: ઓપનક્લો હસી પડશે

ક્લાઉડફ્લેરે તાજેતરમાં જ Markdown for Agents નામનું એક નવું ફંક્શન બહાર પાડ્યું છે. આ નવી સુવિધા વેબ સર્વર્સને સીધા જ AI એજન્ટને Markdown ફોર્મેટમાં ડેટા ફીડ કરવાની મંજૂરી આપે છે, જે ફૂલેલા HTMLને સંપૂર્ણપણે છોડી દે છે.

વાસ્તવિક પરીક્ષણ ડેટા દર્શાવે છે કે ટોકન વપરાશમાં સીધો **80%**નો ઘટાડો થયો છે. આનો અર્થ એ થાય છે કે ઓછી અનુમાન કિંમત અને ઝડપી પ્રતિભાવની ઝડપ.

આ શા માટે મહત્વપૂર્ણ છે?

હાલનું ઇન્ટરનેટ માનવ આંખ માટે ડિઝાઇન કરવામાં આવ્યું છે, મોટા મોડેલ માટે નહીં.

AIને મૂળ HTML ફીડ કરવું એ અંદરના પત્રને વાંચવાને બદલે શબ્દોની સંખ્યા પ્રમાણે કુરિયર પેકેજિંગ બોક્સ વાંચવા માટે ચૂકવણી કરવા જેવું છે.

એક સરળ વેબપેજ શીર્ષક, HTMLમાં <h2 class...> તરીકે લખાયેલું છે, જેમાં વિવિધ અસંબંધિત Class, ID અને Div રેપર્સ હોય છે, જે માત્ર 12-15 ટોકન્સનો વપરાશ કરે છે એટલું જ નહીં, પરંતુ તે તમામ સિમેન્ટીક મૂલ્ય વિનાનો અવાજ છે. પરંતુ જો તેને Markdownના ##માં રૂપાંતરિત કરવામાં આવે તો માત્ર 3 ટોકન્સની જરૂર પડે છે.

ક્લાઉડફ્લેરે એક બ્લોગ પોસ્ટનું વાસ્તવિક પરીક્ષણ કર્યું:

• HTML સંસ્કરણનું વજન 16180 ટોકન્સ હતું
• રૂપાંતર પછી માત્ર 3150 ટોકન્સ બાકી રહ્યા

મેં પણ પ્રયાસ કર્યો, અને ક્લાઉડફ્લેરની આ Markdown for Agents બ્લોગ પોસ્ટના HTMLને સીધા જ Google AI સ્ટુડિયોમાં ફેંકી દીધો, અને તે સીધું જ 178,241 ટોકન્સમાં વિશ્લેષિત થયું, જે AI માટે ખૂબ જ વિરોધી છે.

આ જ કારણ છે કે Markdown AI યુગમાં સાર્વત્રિક ભાષા બની રહી છે.

તે કેવી રીતે કામ કરે છે?

ક્લાઉડફ્લેરનો ઉકેલ ખૂબ જ સ્માર્ટ છે, તમારે તમારા મૂળ સ્ટેશન કોડને સંશોધિત કરવાની જરૂર નથી, પરંતુ પ્રમાણભૂત સામગ્રી વાટાઘાટો (Content Negotiation) મિકેનિઝમનો ઉપયોગ કરે છે.

જ્યારે Claude Code અથવા OpenClaw જેવા AI એજન્ટ વિનંતી શરૂ કરે છે, ત્યારે તે હેડરમાં Accept: text/markdown લાવશે.

ક્લાઉડફ્લેરનું નેટવર્ક એજ નોડ આ વિનંતીને શોધી કાઢે છે, મૂળ સ્ટેશનમાંથી HTML મેળવે છે, તેને રીઅલ ટાઇમમાં Markdownમાં રૂપાંતરિત કરે છે અને પછી તેને ક્લાયન્ટને પરત કરે છે.

આ તમારા વેબસાઇટ પર આપોઆપ અનુવાદ મશીન લટકાવવા જેવું છે, લોકો HTML જુએ છે અને મશીનો Markdown જુએ છે.

પ્રતિભાવ હેડરમાં x-markdown-tokens પણ હશે. આ AI એજન્ટને સામગ્રી પર પ્રક્રિયા કરતા પહેલા દસ્તાવેજની અંદાજિત ટોકન સંખ્યાને ચોક્કસપણે જાણવાની મંજૂરી આપે છે, જે સંદર્ભ વિન્ડો વ્યૂહરચનાની ગણતરી કરવાનું સરળ બનાવે છે.

માત્ર સ્ટ્રીમિંગ બચત જ નહીં, પણ નિયંત્રણ પણ

ફોર્મેટ રૂપાંતરણ ઉપરાંત, ક્લાઉડફ્લેરે Content-Signal (સામગ્રી સંકેત) મિકેનિઝમ પણ રજૂ કર્યું છે.

પ્રતિભાવ હેડરમાં ai-train=yes અથવા search=yes જેવા લેબલ્સ હશે. આનો અર્થ એ થાય છે કે સામગ્રી નિર્માતાઓ સ્પષ્ટપણે જાહેર કરી શકે છે: શું મારા ડેટાને AI મોડેલ તાલીમ માટે વાપરવાની મંજૂરી છે, અથવા શું તેને શોધ અનુક્રમણિકામાં પ્રવેશવાની મંજૂરી છે.

આ AI ક્રોલર્સની અસ્તવ્યસ્ત દુનિયા માટે ટ્રાફિક નિયમોનો સમૂહ સ્થાપિત કરે છે.

વધુ હાર્ડકોર વિગતો

જે દૃશ્યોને આપોઆપ રૂપાંતરિત કરી શકાતા નથી તેના માટે, ક્લાઉડફ્લેર મેન્યુઅલ ટૂલ્સ પણ પ્રદાન કરે છે:

• Workers AI: AI.toMarkdown() પદ્ધતિને સપોર્ટ કરે છે, જે માત્ર HTMLને જ રૂપાંતરિત કરી શકતું નથી, પણ PDF જેવા વિવિધ દસ્તાવેજોને પણ હેન્ડલ કરી શકે છે અને આપોઆપ સારાંશને પણ સપોર્ટ કરે છે.
• બ્રાઉઝર રેન્ડરિંગ API: ભારે JSવાળા ગતિશીલ પૃષ્ઠો માટે, તમે પહેલા ક્લાઉડ બ્રાઉઝરમાં રેન્ડર કરી શકો છો અને પછી /markdown એન્ડપોઇન્ટ દ્વારા સાદો ટેક્સ્ટ આઉટપુટ કરી શકો છો.

તે જ સમયે, ક્લાઉડફ્લેર રડારએ ડેટા પરિમાણોને પણ અપડેટ કર્યા છે. હવે તમે ખાસ કરીને AI ક્રોલર વિનંતીઓના MIME પ્રકાર વિતરણને ટ્રેક કરી શકો છો. ડેટા દર્શાવે છે કે OpenAIના OAI-Searchbotએ આ રીતે મોટી માત્રામાં Markdown ડેટા મેળવવાનું શરૂ કરી દીધું છે.

તરત જ ઉપલબ્ધ

હાલમાં આ કાર્ય Beta તબક્કામાં છે.

તમામ Pro, Business, Enterprise યોજનાઓ અને SSL for SaaS વપરાશકર્તાઓ તેને મફતમાં સક્ષમ કરી શકે છે.

ફક્ત કન્સોલના ઝડપી ઓપરેશન્સમાં Markdown for Agents સ્વીચ ચાલુ કરો, અને તમારી વેબસાઇટ તરત જ AI માટે મૈત્રીપૂર્ણ બની જશે.

ઇન્ટરનેટનું ઇન્ફ્રાસ્ટ્રક્ચર Human-Firstથી Agent-First તરફ આગળ વધી રહ્યું છે.

વિગતવાર માહિતી: https://blog.cloudflare.com/markdown-for-agents/