Tokenverbruik daalt met 80%, Cloudflare laat servers native Markdown ondersteunen: OpenClaw zal blij zijn
Tokenverbruik daalt met 80%, Cloudflare laat servers native Markdown ondersteunen: OpenClaw zal blij zijn
Cloudflare heeft zojuist een nieuwe functie uitgebracht genaamd Markdown for Agents. Deze nieuwe functie stelt webservers in staat om direct Markdown-gegevens aan AI Agents te leveren, waardoor de omslachtige HTML volledig wordt losgelaten.
Uit werkelijke testgegevens blijkt dat het tokenverbruik direct met 80% daalt. Dit betekent lagere inferentiekosten en snellere responstijden.
Waarom is dit belangrijk?
Het huidige internet is ontworpen voor menselijke ogen, niet voor grote modellen.
Het voeden van ruwe HTML aan AI is alsof je per woord betaalt om de verpakking van een pakket te lezen, in plaats van de brief erin.
Een eenvoudige webpaginatitel, geschreven in HTML, is <h2 class...>, met allerlei irrelevante Class-, ID- en Div-wrappers, die niet alleen 12-15 tokens verbruiken, maar ook vol zitten met ruis zonder semantische waarde. Maar als het wordt omgezet in Markdown ##, zijn er slechts 3 tokens nodig.
Cloudflare heeft een blogpost in de praktijk getest:
- HTML-versie weegt maar liefst 16180 tokens
- Na conversie slechts 3150 tokens over
Ik heb het ook geprobeerd, ik gooide de html van deze Cloudflare Markdown for Agents blogpost direct in Google AI Studio, en het analyseerde direct 178.241 tokens, wat gewoon anti-AI is.
Dit is de reden waarom Markdown de universele taal van het AI-tijdperk wordt.
Hoe werkt het?
De oplossing van Cloudflare is erg slim, het vereist niet dat je de broncode wijzigt, maar maakt gebruik van het standaard Content Negotiation-mechanisme.
Wanneer een AI Agent zoals Claude Code of OpenClaw een verzoek indient, wordt Accept: text/markdown in de header opgenomen.
Nadat het netwerk-edge-knooppunt van Cloudflare dit verzoek heeft gedetecteerd, haalt het de HTML van de bron op, converteert het in realtime naar Markdown en retourneert het vervolgens naar de Client.
Dit is alsof je een automatische vertaler op je website hebt aangesloten, mensen kijken naar HTML, machines kijken naar Markdown.
De response header bevat ook x-markdown-tokens. Hierdoor kan de AI Agent, voordat de inhoud wordt verwerkt, het geschatte aantal tokens van het document nauwkeurig kennen, wat handig is voor het berekenen van de contextvensterstrategie.
Niet alleen kostenbesparend, maar ook controle
Naast formaatconversie introduceert Cloudflare ook een Content-Signal-mechanisme.
De response header bevat labels zoals ai-train=yes of search=yes. Dit betekent dat makers van inhoud expliciet kunnen verklaren: of mijn gegevens mogen worden gebruikt voor AI-modeltraining, of dat ze in de zoekindex mogen worden opgenomen.
Dit creëert een reeks verkeersregels voor de chaotische AI-crawlerwereld.
Meer harde details
Voor die scenario's die niet automatisch kunnen worden geconverteerd, biedt Cloudflare ook handmatige tools:
- Workers AI: Ondersteunt de
AI.toMarkdown()-methode, die niet alleen HTML kan converteren, maar ook PDF's en andere documenten kan verwerken, en zelfs automatische samenvattingen ondersteunt. - Browser Rendering API: Voor dynamische pagina's met veel JS, kan deze eerst in de cloudbrowser worden gerenderd en vervolgens worden uitgevoerd als platte tekst via het
/markdownendpoint.
Tegelijkertijd heeft Cloudflare Radar de datadimensies bijgewerkt. Het is nu mogelijk om specifiek de MIME-typedistributie van AI-crawlerverzoeken te volgen. Uit de gegevens blijkt dat OpenAI's OAI-Searchbot al op grote schaal Markdown-gegevens op deze manier begint te verkrijgen.
Direct beschikbaar
Momenteel bevindt deze functie zich in de Beta-fase.
Alle Pro-, Business-, Enterprise-abonnementen en SSL for SaaS-gebruikers kunnen deze gratis inschakelen.
Schakel gewoon de Markdown for Agents-schakelaar in de snelle acties van de console in en uw website is direct AI-vriendelijk.
De internetinfrastructuur evolueert van Human-First naar Agent-First.
