Потребление токенов упало на 80%, Cloudflare добавил нативную поддержку Markdown на серверах: OpenClaw будет ликовать

Cloudflare только что выпустила новую функцию под названием Markdown for Agents. Эта новая функция позволяет веб-серверам напрямую передавать данные в формате Markdown AI Agent, полностью отказавшись от громоздкого HTML.

Фактические данные показывают, что потребление токенов напрямую упало на 80%. Это означает снижение затрат на вывод и более высокую скорость отклика.

Почему это важно?

Современный Интернет разработан для человеческого глаза, а не для больших языковых моделей.

Передача необработанного HTML в AI подобна оплате за чтение по количеству слов на коробке посылки, а не за чтение письма внутри.

Простой заголовок веб-страницы, написанный на HTML, выглядит как <h2 class...>, содержит различные нерелевантные Class, ID и Div-обертки, которые не только потребляют 12-15 токенов, но и являются совершенно бессмысленным шумом. Но если преобразовать его в Markdown ##, потребуется всего 3 токена.

Cloudflare протестировала статью в блоге:

• HTML-версия весит 16180 токенов
• После преобразования осталось всего 3150 токенов

Я тоже попробовал и просто бросил html этой статьи Cloudflare Markdown for Agents в Google AI Studio, и он напрямую проанализировал 178 241 токен, что просто анти-AI.

Вот почему Markdown становится универсальным языком в эпоху AI.

Как это работает?

Решение Cloudflare очень умное: оно не требует изменения исходного кода, а использует стандартный механизм согласования контента (Content Negotiation).

Когда AI Agent, такой как Claude Code или OpenClaw, отправляет запрос, он включает в заголовок Accept: text/markdown.

После того, как сетевой пограничный узел Cloudflare обнаруживает этот запрос, он получает HTML с исходного сайта, преобразует его в Markdown в режиме реального времени и возвращает его клиенту.

Это похоже на установку автоматического переводчика на ваш веб-сайт: люди смотрят HTML, а машины смотрят Markdown.

Заголовок ответа также будет содержать x-markdown-tokens. Это позволяет AI Agent точно знать предполагаемое количество токенов в документе перед обработкой контента, что упрощает расчет стратегии контекстного окна.

Не только экономия трафика, но и контроль

В дополнение к преобразованию формата Cloudflare также представила механизм Content-Signal (сигнал контента).

Заголовок ответа будет содержать такие теги, как ai-train=yes или search=yes. Это означает, что создатели контента могут четко заявить: разрешено ли использовать мои данные для обучения моделей AI или разрешено ли им входить в индекс поиска.

Это устанавливает набор правил дорожного движения для хаотичного мира AI-краулеров.

Больше хардкорных деталей

Для тех сценариев, которые не могут быть преобразованы автоматически, Cloudflare также предоставляет инструменты с ручным управлением:

• Workers AI: поддерживает метод AI.toMarkdown(), который может не только преобразовывать HTML, но и обрабатывать PDF и другие документы, и даже поддерживает автоматическое создание резюме.
• API рендеринга браузера: для динамических страниц с большим количеством JS можно сначала выполнить рендеринг в облачном браузере, а затем вывести простой текст через конечную точку /markdown.

В то же время Cloudflare Radar также обновила измерения данных. Теперь можно специально отслеживать распределение типов MIME запросов AI-краулеров. Данные показывают, что OpenAI OAI-Searchbot уже начал получать данные Markdown в больших количествах таким образом.

Доступно прямо сейчас

В настоящее время эта функция находится на стадии Beta.

Все планы Pro, Business, Enterprise и пользователи SSL for SaaS могут включить его бесплатно.

Просто включите переключатель Markdown for Agents в быстрых действиях консоли, и ваш веб-сайт мгновенно станет дружественным к AI.

Интернет-инфраструктура развивается от Human-First к Agent-First.

Подробная информация: https://blog.cloudflare.com/markdown-for-agents/