Réduction drastique de 80 % de la consommation de tokens : Cloudflare permet aux serveurs de prendre en charge nativement Markdown : OpenClaw va être aux anges
Réduction drastique de 80 % de la consommation de tokens : Cloudflare permet aux serveurs de prendre en charge nativement Markdown : OpenClaw va être aux anges
Cloudflare vient de publier une nouvelle fonctionnalité appelée Markdown for Agents. Cette nouvelle fonctionnalité permet aux serveurs Web de fournir directement des données au format Markdown aux AI Agents, abandonnant complètement le HTML volumineux.
Les données de tests montrent que la consommation de tokens est directement réduite de 80 %. Cela signifie des coûts d'inférence plus faibles et des temps de réponse plus rapides.
Pourquoi est-ce important ?
L'Internet actuel est conçu pour les yeux humains, pas pour les grands modèles.
Nourrir l'IA avec du HTML brut, c'est comme payer au mot pour lire l'emballage d'un colis au lieu de lire la lettre qu'il contient.
Un simple titre de page Web, écrit en HTML, est <h2 class...>, contenant divers Class, ID et wrappers Div non pertinents, consommant non seulement 12 à 15 tokens, mais aussi rempli de bruit sans valeur sémantique. Mais si on le convertit en ## en Markdown, cela ne nécessite que 3 tokens.
Cloudflare a testé un article de blog :
- La version HTML pèse 16180 tokens
- Après conversion, il ne reste que 3150 tokens
J'ai aussi essayé, j'ai directement jeté le html de cet article de blog Markdown for Agents de Cloudflare dans Google AI Studio, et il a directement analysé 178 241 tokens, ce qui est tout simplement anti-IA.
C'est pourquoi Markdown est en train de devenir la langue universelle de l'ère de l'IA.
Comment ça marche ?
La solution de Cloudflare est très intelligente, elle ne nécessite pas de modifier le code de votre site d'origine, mais utilise le mécanisme standard de négociation de contenu (Content Negotiation).
Lorsque des AI Agents comme Claude Code ou OpenClaw font une requête, ils incluent Accept: text/markdown dans l'en-tête.
Après avoir détecté cette requête, le nœud de périphérie du réseau Cloudflare obtient le HTML du site d'origine, le convertit en Markdown en temps réel, puis le renvoie au Client.
C'est comme installer un traducteur automatique sur votre site Web, les humains voient le HTML, les machines voient le Markdown.
L'en-tête de réponse inclura également x-markdown-tokens. Cela permet à l'AI Agent de connaître précisément le nombre de tokens estimé du document avant de traiter le contenu, ce qui facilite le calcul de la stratégie de fenêtre contextuelle.
Pas seulement une économie de flux, mais aussi un contrôle
En plus de la conversion de format, Cloudflare a également introduit un mécanisme de Content-Signal (signal de contenu).
L'en-tête de réponse contiendra des balises telles que ai-train=yes ou search=yes. Cela signifie que les créateurs de contenu peuvent clairement déclarer : mes données sont-elles autorisées à être utilisées pour l'entraînement de modèles d'IA, ou sont-elles autorisées à entrer dans l'index de recherche.
Cela établit un ensemble de règles de circulation pour le monde chaotique des robots d'exploration d'IA.
Plus de détails techniques
Pour les scénarios qui ne peuvent pas être convertis automatiquement, Cloudflare fournit également des outils manuels :
- Workers AI : prend en charge la méthode
AI.toMarkdown(), qui peut non seulement convertir le HTML, mais aussi traiter divers documents tels que les PDF, et même prendre en charge le résumé automatique. - API de rendu du navigateur : pour les pages dynamiques lourdes en JS, vous pouvez d'abord effectuer le rendu dans le navigateur cloud, puis sortir du texte brut via le point de terminaison
/markdown.
Dans le même temps, Cloudflare Radar a également mis à jour les dimensions des données. Il est désormais possible de suivre spécifiquement la distribution des types MIME des requêtes des robots d'exploration d'IA. Les données montrent que OAI-Searchbot d'OpenAI a déjà commencé à obtenir des données Markdown en grande quantité de cette manière.
Disponible immédiatement
Actuellement, cette fonctionnalité est en phase Beta.
Tous les plans Pro, Business, Enterprise et les utilisateurs de SSL for SaaS peuvent l'activer gratuitement.
Il suffit d'activer le commutateur Markdown for Agents dans les opérations rapides de la console pour que votre site Web devienne instantanément convivial pour l'IA.
L'infrastructure d'Internet évolue de Human-First à Agent-First.
