Réduction drastique de 80 % de la consommation de tokens : Cloudflare permet aux serveurs de prendre en charge Markdown nativement. OpenClaw va être ravi !
Réduction drastique de 80 % de la consommation de tokens : Cloudflare permet aux serveurs de prendre en charge Markdown nativement. OpenClaw va être ravi !
Cloudflare vient de publier une nouvelle fonctionnalité appelée Markdown for Agents. Cette nouvelle fonctionnalité permet aux serveurs Web de fournir directement des données au format Markdown aux AI Agents, abandonnant complètement le HTML volumineux.
Les données de test montrent que la consommation de tokens est directement réduite de 80 %. Cela signifie des coûts d'inférence plus faibles et des temps de réponse plus rapides.
Pourquoi est-ce important ?
L'Internet actuel est conçu pour les yeux humains, pas pour les grands modèles.
Nourrir l'IA avec du HTML brut, c'est comme payer au mot pour lire l'emballage d'un colis au lieu de lire la lettre qu'il contient.
Un simple titre de page Web, écrit en HTML, est <h2 class...>, contenant diverses classes, ID et wrappers Div non pertinents, consommant non seulement 12 à 15 tokens, mais aussi plein de bruit sans valeur sémantique. Mais si on le convertit en ## en Markdown, il ne faut que 3 tokens.
Cloudflare a testé un article de blog :
- La version HTML pèse 16180 tokens
- Après conversion, il ne reste que 3150 tokens
J'ai aussi essayé, j'ai directement jeté le html de cet article de blog Markdown for Agents de Cloudflare dans Google AI Studio, et il a directement analysé 178 241 tokens, ce qui est tout simplement anti-IA.
C'est pourquoi Markdown devient le langage universel de l'ère de l'IA.
Comment ça marche ?
La solution de Cloudflare est très intelligente, elle ne nécessite pas de modifier le code de la station d'origine, mais utilise le mécanisme standard de négociation de contenu (Content Negotiation).
Lorsque des AI Agents comme Claude Code ou OpenClaw font une requête, ils incluent Accept: text/markdown dans l'en-tête.
Lorsque le nœud de périphérie du réseau Cloudflare détecte cette requête, il obtient le HTML de la station d'origine, le convertit en Markdown en temps réel, puis le renvoie au Client.
C'est comme si vous aviez accroché un traducteur automatique à votre site Web, les humains voient le HTML, les machines voient le Markdown.
L'en-tête de réponse inclura également x-markdown-tokens. Cela permet à l'AI Agent de connaître avec précision le nombre de tokens estimé du document avant de traiter le contenu, ce qui facilite le calcul de la stratégie de fenêtre contextuelle.
Pas seulement une économie de flux, mais aussi un contrôle
En plus de la conversion de format, Cloudflare a également introduit un mécanisme de Content-Signal (signal de contenu).
L'en-tête de réponse contiendra des balises telles que ai-train=yes ou search=yes. Cela signifie que les créateurs de contenu peuvent déclarer explicitement : mes données peuvent-elles être utilisées pour l'entraînement de modèles d'IA, ou peuvent-elles être incluses dans l'index de recherche.
Cela établit un ensemble de règles de circulation pour le monde chaotique des robots d'exploration de l'IA.
Plus de détails techniques
Pour les scénarios qui ne peuvent pas être convertis automatiquement, Cloudflare fournit également des outils manuels :
- Workers AI : prend en charge la méthode
AI.toMarkdown(), qui peut non seulement convertir le HTML, mais aussi traiter divers documents tels que les PDF, et même prendre en charge le résumé automatique. - API de rendu du navigateur : pour les pages dynamiques lourdes en JS, vous pouvez d'abord effectuer le rendu dans le navigateur cloud, puis sortir du texte brut via le point de terminaison
/markdown.
Dans le même temps, Cloudflare Radar a également mis à jour les dimensions des données. Il est désormais possible de suivre spécifiquement la distribution des types MIME des requêtes des robots d'exploration de l'IA. Les données montrent que OAI-Searchbot d'OpenAI a déjà commencé à obtenir des données Markdown en grande quantité de cette manière.
Disponible immédiatement
Actuellement, cette fonctionnalité est en phase Beta.
Tous les plans Pro, Business, Enterprise et les utilisateurs de SSL for SaaS peuvent l'activer gratuitement.
Il suffit d'activer le commutateur Markdown for Agents dans les actions rapides de la console, et votre site Web deviendra instantanément convivial pour l'IA.
L'infrastructure d'Internet évolue de Human-First à Agent-First.
