Token খরচ ৮০% কমল, ক্লাউডফ্লেয়ার সার্ভারে নেটিভ মার্কডাউন সাপোর্ট আনল: OpenClaw আনন্দে আত্মহারা

ক্লাউডফ্লেয়ার সম্প্রতি Markdown for Agents নামের একটি নতুন ফিচার প্রকাশ করেছে। এই নতুন ফিচারটি ওয়েব সার্ভারকে সরাসরি AI Agent-কে Markdown ফরম্যাটে ডেটা সরবরাহ করতে দেয়, যা HTML-এর জটিলতা থেকে মুক্তি দেয়।

পরীক্ষায় দেখা গেছে, Token খরচ সরাসরি ৮০% কমে গেছে। এর মানে হল কম খরচে আরও দ্রুত প্রতিক্রিয়া পাওয়া যাবে।

এটা কেন গুরুত্বপূর্ণ?

বর্তমান ইন্টারনেট মানুষের চোখের জন্য তৈরি, Large Language Model (LLM)-এর জন্য নয়।

AI-কে সরাসরি HTML দেওয়া অনেকটা অক্ষরের ভিত্তিতে কুরিয়ার প্যাকেজের বাইরের লেখা পড়ার মতো, ভেতরের চিঠি পড়ার পরিবর্তে।

একটি সাধারণ ওয়েবপেজের শিরোনাম HTML-এ লিখলে <h2 class...> হয়, যেখানে বিভিন্ন অপ্রাসঙ্গিক Class, ID এবং Div র‍্যাপার থাকে। এটি কেবল ১২-১৫টি Token খরচ করে তাই নয়, বরং এটি শব্দ দূষণও তৈরি করে। কিন্তু যদি Markdown-এ ## লেখা হয়, তবে এটি মাত্র ৩টি Token খরচ করে।

ক্লাউডফ্লেয়ার একটি ব্লগ পোস্ট নিয়ে পরীক্ষা চালিয়েছে:

• HTML সংস্করণ: ১৬১৮০ Token
• পরিবর্তনের পরে: ৩১৫০ Token

আমিও চেষ্টা করে দেখেছি, সরাসরি ক্লাউডফ্লেয়ারের Markdown for Agents ব্লগ পোস্টের HTML Google AI Studio-তে দিলে এটি ১৭৮,২৪১ Token হিসাবে পার্স (parse) হয়, যা AI-এর জন্য খুবই খারাপ।

এজন্যই Markdown AI যুগে একটি সাধারণ ভাষায় পরিণত হচ্ছে।

এটা কিভাবে কাজ করে?

ক্লাউডফ্লেয়ারের সমাধানটি খুবই বুদ্ধিদীপ্ত। এর জন্য আপনাকে সোর্স কোড পরিবর্তন করতে হবে না, বরং এটি স্ট্যান্ডার্ড কনটেন্ট নেগোসিয়েশন (Content Negotiation) পদ্ধতি ব্যবহার করে।

যখন Claude Code বা OpenClaw-এর মতো AI Agent কোনো অনুরোধ করে, তখন Header-এ Accept: text/markdown থাকে।

ক্লাউডফ্লেয়ারের নেটওয়ার্ক প্রান্ত (edge node) এই অনুরোধটি সনাক্ত করার পরে, সোর্স থেকে HTML নিয়ে সেটিকে রিয়েল-টাইমে Markdown-এ রূপান্তরিত করে, এবং তারপর ক্লায়েন্টকে ফেরত দেয়।

এটা অনেকটা আপনার ওয়েবসাইটে একটি স্বয়ংক্রিয় অনুবাদক বসানোর মতো, মানুষ HTML দেখবে এবং মেশিন Markdown দেখবে।

Response Header-এ x-markdown-tokens যুক্ত করা হবে। এর মাধ্যমে AI Agent কনটেন্ট প্রক্রিয়াকরণের আগে ডকুমেন্টের আনুমানিক Token সংখ্যা জানতে পারবে, যা Context Window কৌশল গণনা করতে সহায়ক হবে।

শুধু খরচ কমানো নয়, নিয়ন্ত্রণও আছে

ফরম্যাট পরিবর্তনের পাশাপাশি, ক্লাউডফ্লেয়ার Content-Signal (কন্টেন্ট সিগন্যাল) পদ্ধতি চালু করেছে।

Response Header-এ ai-train=yes অথবা search=yes-এর মতো ট্যাগ থাকবে। এর মানে হল কন্টেন্ট নির্মাতারা স্পষ্টভাবে ঘোষণা করতে পারবেন যে তাদের ডেটা AI মডেল প্রশিক্ষণ বা সার্চ ইন্ডেক্সিংয়ের জন্য ব্যবহার করা যাবে কিনা।

এটি AI ক্রলারদের জন্য একটি নিয়ম তৈরি করে।

আরও কিছু গুরুত্বপূর্ণ বিষয়

যেসব ক্ষেত্রে স্বয়ংক্রিয়ভাবে পরিবর্তন করা সম্ভব নয়, সেসব ক্ষেত্রে ক্লাউডফ্লেয়ার ম্যানুয়াল টুল সরবরাহ করে:

• Workers AI: AI.toMarkdown() পদ্ধতি সমর্থন করে, যা শুধু HTML নয়, PDF-এর মতো বিভিন্ন ডকুমেন্টও প্রক্রিয়াকরণ করতে পারে, এমনকি স্বয়ংক্রিয়ভাবে সারসংক্ষেপ তৈরি করতেও সক্ষম।
• ব্রাউজার রেন্ডারিং API: যে ডাইনামিক পেজগুলি JavaScript-এর উপর নির্ভরশীল, সেগুলিকে প্রথমে ক্লাউড ব্রাউজারে রেন্ডার করা যায়, এবং তারপর /markdown এন্ডপয়েন্টের মাধ্যমে প্লেইন টেক্সট আউটপুট করা যায়।

এছাড়াও, ক্লাউডফ্লেয়ার রাডার ডেটার মাত্রা আপডেট করেছে। এখন AI ক্রলার অনুরোধের MIME টাইপ বিশেষভাবে ট্র্যাক করা যায়। ডেটা থেকে দেখা যায় যে OpenAI-এর OAI-Searchbot এই পদ্ধতির মাধ্যমে প্রচুর পরিমাণে Markdown ডেটা সংগ্রহ করছে।

এখনই ব্যবহার করা যাবে

বর্তমানে এই ফিচারটি Beta পর্যায়ে আছে।

Pro, Business, Enterprise প্ল্যান এবং SSL for SaaS ব্যবহারকারীরা বিনামূল্যে এটি ব্যবহার করতে পারবেন।

কন্ট্রোল প্যানেলের কুইক অ্যাকশন থেকে Markdown for Agents অপশনটি চালু করলেই আপনার ওয়েবসাইট AI-এর জন্য বন্ধুত্বপূর্ণ হয়ে উঠবে।

ইন্টারনেটের অবকাঠামো Human-First থেকে Agent-First-এর দিকে অগ্রসর হচ্ছে।

বিস্তারিত তথ্য: https://blog.cloudflare.com/markdown-for-agents/