토큰 소비량 80% 폭락, Cloudflare가 서버에서 Markdown을 기본 지원: OpenClaw는 웃음꽃

Cloudflare가 'Agents용 Markdown'이라는 새로운 기능을 발표했습니다. 이 새로운 기능을 통해 웹 서버는 더 이상 부풀려진 HTML 없이 Markdown 형식의 데이터를 AI Agent에 직접 제공할 수 있습니다.

실제 테스트 결과 토큰 소비량이 **80%**나 폭락했습니다. 이는 더 낮은 추론 비용과 더 빠른 응답 속도를 의미합니다.

왜 중요한가요?

현재 인터넷은 대규모 모델이 아닌 사람의 눈을 위해 설계되었습니다.

원시 HTML을 AI에 제공하는 것은 내용물이 아닌 택배 상자를 글자 수 기준으로 읽는 것과 같습니다.

간단한 웹 페이지 제목은 HTML로 <h2 class...>와 같이 작성되며, 다양한 관련 없는 Class, ID 및 Div 래퍼를 포함하여 12-15개의 토큰을 소비할 뿐만 아니라 의미론적 가치가 없는 노이즈로 가득 차 있습니다. 그러나 Markdown의 ##로 변환하면 3개의 토큰만 필요합니다.

Cloudflare는 블로그 게시물을 실제로 테스트했습니다.

HTML 버전은 16180 토큰에 달했습니다.
변환 후 3150 토큰만 남았습니다.

저도 Cloudflare의 Markdown for Agents 블로그 게시물의 HTML을 Google AI Studio에 직접 넣어봤는데, 178,241개의 토큰으로 바로 분석되었습니다. 이는 AI에 너무나 반하는 것입니다.

Token对比

이것이 Markdown이 AI 시대의 공통어가 되는 이유입니다.

작동 방식

Cloudflare의 솔루션은 매우 영리합니다. 원본 사이트 코드를 수정할 필요 없이 표준 콘텐츠 협상(Content Negotiation) 메커니즘을 활용합니다.

Claude Code 또는 OpenClaw와 같은 AI Agent가 요청을 시작하면 헤더에 Accept: text/markdown이 포함됩니다.

Cloudflare의 네트워크 에지 노드는 이 요청을 감지한 후 원본 사이트에서 HTML을 가져와 실시간으로 Markdown으로 변환한 다음 클라이언트에 반환합니다.

이는 웹사이트에 자동 번역기를 연결하는 것과 같습니다. 사람은 HTML을 보고 기계는 Markdown을 봅니다.

응답 헤더에는 x-markdown-tokens도 첨부됩니다. 이를 통해 AI Agent는 콘텐츠를 처리하기 전에 문서의 예상 토큰 수를 정확히 알 수 있으므로 컨텍스트 창 전략을 계산하는 데 도움이 됩니다.

스트림 절약뿐만 아니라 제어 권한도

형식 변환 외에도 Cloudflare는 Content-Signal(콘텐츠 신호) 메커니즘을 도입했습니다.

응답 헤더에는 ai-train=yes 또는 search=yes와 같은 태그가 포함됩니다. 이는 콘텐츠 제작자가 자신의 데이터를 AI 모델 훈련에 사용할 수 있는지 또는 검색 인덱스에 들어갈 수 있는지 명확하게 선언할 수 있음을 의미합니다.

이는 혼란스러운 AI 크롤러 세계에 교통 규칙을 설정하는 것입니다.

더 많은 하드코어 세부 정보

자동으로 변환할 수 없는 시나리오를 위해 Cloudflare는 수동 도구도 제공합니다.

Workers AI: AI.toMarkdown() 메서드를 지원하여 HTML을 변환할 뿐만 아니라 PDF와 같은 다양한 문서도 처리하고 자동 요약도 지원합니다.
브라우저 렌더링 API: JS가 많은 동적 페이지의 경우 클라우드 브라우저에서 먼저 렌더링한 다음 /markdown 엔드포인트를 통해 일반 텍스트를 출력할 수 있습니다.

또한 Cloudflare Radar도 데이터 차원을 업데이트했습니다. 이제 AI 크롤러 요청의 MIME 유형 분포를 특별히 추적할 수 있습니다. 데이터에 따르면 OpenAI의 OAI-Searchbot은 이미 이러한 방식으로 Markdown 데이터를 대량으로 가져오기 시작했습니다.