ਟੋਕਨ ਦੀ ਖਪਤ ਵਿੱਚ 80% ਦੀ ਭਾਰੀ ਗਿਰਾਵਟ, ਕਲਾਉਡਫਲੇਅਰ ਨੇ ਸਰਵਰਾਂ ਨੂੰ ਮੂਲ ਰੂਪ ਵਿੱਚ ਮਾਰਕਡਾਊਨ ਦਾ ਸਮਰਥਨ ਕਰਨ ਦਿੱਤਾ: ਓਪਨਕਲਾਅ ਖੁਸ਼ੀ ਨਾਲ ਚੀਕਣ ਵਾਲਾ ਹੈ

ਕਲਾਉਡਫਲੇਅਰ ਨੇ ਹੁਣੇ ਹੀ ਮਾਰਕਡਾਊਨ ਫਾਰ ਏਜੰਟਸ ਨਾਮਕ ਇੱਕ ਨਵੀਂ ਵਿਸ਼ੇਸ਼ਤਾ ਜਾਰੀ ਕੀਤੀ ਹੈ। ਇਹ ਨਵੀਂ ਵਿਸ਼ੇਸ਼ਤਾ ਵੈੱਬ ਸਰਵਰਾਂ ਨੂੰ ਸਿੱਧੇ ਤੌਰ 'ਤੇ AI ਏਜੰਟਾਂ ਨੂੰ ਮਾਰਕਡਾਊਨ ਫਾਰਮੈਟ ਵਿੱਚ ਡਾਟਾ ਭੇਜਣ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦੀ ਹੈ, ਅਤੇ ਪੂਰੀ ਤਰ੍ਹਾਂ ਨਾਲ ਭਾਰੀ HTML ਨੂੰ ਛੱਡ ਦਿੰਦੀ ਹੈ।

ਅਸਲ ਟੈਸਟ ਦੇ ਅੰਕੜਿਆਂ ਤੋਂ ਪਤਾ ਚੱਲਦਾ ਹੈ ਕਿ ਟੋਕਨ ਦੀ ਖਪਤ ਵਿੱਚ ਸਿੱਧੇ ਤੌਰ 'ਤੇ 80% ਦੀ ਗਿਰਾਵਟ ਆਈ ਹੈ। ਇਸਦਾ ਮਤਲਬ ਹੈ ਘੱਟ ਅਨੁਮਾਨ ਲਾਗਤਾਂ ਅਤੇ ਤੇਜ਼ ਜਵਾਬ ਦੀ ਗਤੀ।

ਇਹ ਮਹੱਤਵਪੂਰਨ ਕਿਉਂ ਹੈ?

ਮੌਜੂਦਾ ਇੰਟਰਨੈੱਟ ਮਨੁੱਖੀ ਅੱਖਾਂ ਲਈ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ, ਵੱਡੇ ਮਾਡਲਾਂ ਲਈ ਨਹੀਂ।

AI ਨੂੰ ਅਸਲੀ HTML ਭੇਜਣਾ, ਇਸ ਤਰ੍ਹਾਂ ਹੈ ਜਿਵੇਂ ਅੰਦਰਲੀ ਚਿੱਠੀ ਨੂੰ ਪੜ੍ਹਨ ਦੀ ਬਜਾਏ, ਸ਼ਬਦਾਂ ਦੀ ਗਿਣਤੀ ਦੇ ਹਿਸਾਬ ਨਾਲ ਕੋਰੀਅਰ ਪੈਕੇਜਿੰਗ ਬਾਕਸ ਨੂੰ ਪੜ੍ਹਨ ਲਈ ਭੁਗਤਾਨ ਕਰਨਾ।

ਇੱਕ ਸਧਾਰਨ ਵੈੱਬਪੇਜ ਸਿਰਲੇਖ, HTML ਵਿੱਚ <h2 class...> ਦੇ ਰੂਪ ਵਿੱਚ ਲਿਖਿਆ ਗਿਆ ਹੈ, ਜਿਸ ਵਿੱਚ ਕਈ ਬੇਲੋੜੇ ਕਲਾਸ, ID ਅਤੇ Div ਰੈਪਰ ਸ਼ਾਮਲ ਹਨ, ਨਾ ਸਿਰਫ਼ 12-15 ਟੋਕਨਾਂ ਦੀ ਖਪਤ ਕਰਦਾ ਹੈ, ਸਗੋਂ ਇਹ ਸਾਰਾ ਬੇਅਰਥ ਸ਼ੋਰ ਹੈ। ਪਰ ਜੇਕਰ ਇਸਨੂੰ ਮਾਰਕਡਾਊਨ ਦੇ ## ਵਿੱਚ ਬਦਲਿਆ ਜਾਂਦਾ ਹੈ, ਤਾਂ ਇਸਨੂੰ ਸਿਰਫ਼ 3 ਟੋਕਨਾਂ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।

ਕਲਾਉਡਫਲੇਅਰ ਨੇ ਇੱਕ ਬਲੌਗ ਲੇਖ ਦੀ ਅਸਲ ਜਾਂਚ ਕੀਤੀ:

• HTML ਸੰਸਕਰਣ ਦਾ ਭਾਰ 16180 ਟੋਕਨ ਹੈ
• ਪਰਿਵਰਤਨ ਤੋਂ ਬਾਅਦ ਸਿਰਫ਼ 3150 ਟੋਕਨ ਬਚੇ ਹਨ

ਮੈਂ ਵੀ ਇਸਨੂੰ ਅਜ਼ਮਾਇਆ, ਅਤੇ ਸਿੱਧੇ ਤੌਰ 'ਤੇ ਕਲਾਉਡਫਲੇਅਰ ਦੇ ਇਸ ਮਾਰਕਡਾਊਨ ਫਾਰ ਏਜੰਟਸ ਬਲੌਗ ਪੋਸਟ ਦੇ html ਨੂੰ ਗੂਗਲ AI ਸਟੂਡੀਓ ਵਿੱਚ ਸੁੱਟ ਦਿੱਤਾ, ਅਤੇ ਇਸਨੇ ਸਿੱਧੇ ਤੌਰ 'ਤੇ 178,241 ਟੋਕਨਾਂ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕੀਤਾ, ਜੋ ਕਿ AI ਦੇ ਵਿਰੁੱਧ ਹੈ।

ਇਹੀ ਕਾਰਨ ਹੈ ਕਿ ਮਾਰਕਡਾਊਨ AI ਯੁੱਗ ਦੀ ਆਮ ਭਾਸ਼ਾ ਬਣ ਰਿਹਾ ਹੈ।

ਇਹ ਕਿਵੇਂ ਕੰਮ ਕਰਦਾ ਹੈ?

ਕਲਾਉਡਫਲੇਅਰ ਦਾ ਹੱਲ ਬਹੁਤ ਸਮਝਦਾਰ ਹੈ, ਇਸਦੇ ਲਈ ਤੁਹਾਨੂੰ ਆਪਣੇ ਮੂਲ ਸਟੇਸ਼ਨ ਕੋਡ ਨੂੰ ਸੋਧਣ ਦੀ ਲੋੜ ਨਹੀਂ ਹੈ, ਸਗੋਂ ਇਹ ਮਿਆਰੀ ਸਮੱਗਰੀ ਗੱਲਬਾਤ (Content Negotiation) ਵਿਧੀ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ।

ਜਦੋਂ ਕਲਾਉਡ ਕੋਡ ਜਾਂ ਓਪਨਕਲਾਅ ਵਰਗੇ AI ਏਜੰਟ ਬੇਨਤੀ ਕਰਦੇ ਹਨ, ਤਾਂ ਉਹ ਹੈਡਰ ਵਿੱਚ Accept: text/markdown ਲੈ ਕੇ ਆਉਣਗੇ।

ਕਲਾਉਡਫਲੇਅਰ ਦਾ ਨੈੱਟਵਰਕ ਐਜ ਨੋਡ ਇਸ ਬੇਨਤੀ ਦਾ ਪਤਾ ਲਗਾਉਣ ਤੋਂ ਬਾਅਦ, ਮੂਲ ਸਟੇਸ਼ਨ ਤੋਂ HTML ਪ੍ਰਾਪਤ ਕਰੇਗਾ, ਇਸਨੂੰ ਰੀਅਲ ਟਾਈਮ ਵਿੱਚ ਮਾਰਕਡਾਊਨ ਵਿੱਚ ਬਦਲ ਦੇਵੇਗਾ, ਅਤੇ ਫਿਰ ਇਸਨੂੰ ਕਲਾਇੰਟ ਨੂੰ ਵਾਪਸ ਕਰ ਦੇਵੇਗਾ।

ਇਹ ਤੁਹਾਡੀ ਵੈੱਬਸਾਈਟ 'ਤੇ ਇੱਕ ਆਟੋਮੈਟਿਕ ਅਨੁਵਾਦ ਮਸ਼ੀਨ ਲਗਾਉਣ ਵਰਗਾ ਹੈ, ਲੋਕ HTML ਦੇਖਦੇ ਹਨ, ਅਤੇ ਮਸ਼ੀਨਾਂ ਮਾਰਕਡਾਊਨ ਦੇਖਦੀਆਂ ਹਨ।

ਜਵਾਬ ਹੈਡਰ ਵਿੱਚ x-markdown-tokens ਵੀ ਸ਼ਾਮਲ ਹੋਣਗੇ। ਇਹ AI ਏਜੰਟ ਨੂੰ ਸਮੱਗਰੀ 'ਤੇ ਕਾਰਵਾਈ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ, ਦਸਤਾਵੇਜ਼ ਵਿੱਚ ਟੋਕਨਾਂ ਦੀ ਅਨੁਮਾਨਿਤ ਗਿਣਤੀ ਨੂੰ ਸਹੀ ਢੰਗ ਨਾਲ ਜਾਣਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਸੰਦਰਭ ਵਿੰਡੋ ਰਣਨੀਤੀ ਦੀ ਗਣਨਾ ਕਰਨਾ ਆਸਾਨ ਹੋ ਜਾਂਦਾ ਹੈ।

ਸਿਰਫ਼ ਸਟ੍ਰੀਮਿੰਗ ਹੀ ਨਹੀਂ, ਸਗੋਂ ਕੰਟਰੋਲ ਵੀ

ਫਾਰਮੈਟ ਪਰਿਵਰਤਨ ਤੋਂ ਇਲਾਵਾ, ਕਲਾਉਡਫਲੇਅਰ ਨੇ ਸਮੱਗਰੀ-ਸਿਗਨਲ (Content-Signal) ਵਿਧੀ ਵੀ ਪੇਸ਼ ਕੀਤੀ ਹੈ।

ਜਵਾਬ ਹੈਡਰ ਵਿੱਚ ai-train=yes ਜਾਂ search=yes ਵਰਗੇ ਟੈਗ ਸ਼ਾਮਲ ਹੋਣਗੇ। ਇਸਦਾ ਮਤਲਬ ਹੈ ਕਿ ਸਮੱਗਰੀ ਸਿਰਜਣਹਾਰ ਸਪੱਸ਼ਟ ਤੌਰ 'ਤੇ ਇਹ ਐਲਾਨ ਕਰ ਸਕਦੇ ਹਨ: ਕੀ ਮੇਰੇ ਡਾਟਾ ਨੂੰ AI ਮਾਡਲ ਸਿਖਲਾਈ ਲਈ ਵਰਤਣ ਦੀ ਇਜਾਜ਼ਤ ਹੈ, ਜਾਂ ਕੀ ਇਸਨੂੰ ਖੋਜ ਸੂਚਕਾਂਕ ਵਿੱਚ ਦਾਖਲ ਹੋਣ ਦੀ ਇਜਾਜ਼ਤ ਹੈ।

ਇਹ AI ਕ੍ਰਾਲਰਾਂ ਦੀ ਹਫੜਾ-ਦਫੜੀ ਵਾਲੀ ਦੁਨੀਆ ਲਈ ਆਵਾਜਾਈ ਨਿਯਮਾਂ ਦਾ ਇੱਕ ਸਮੂਹ ਸਥਾਪਤ ਕਰਦਾ ਹੈ।

ਹੋਰ ਹਾਰਡਕੋਰ ਵੇਰਵੇ

ਉਹਨਾਂ ਦ੍ਰਿਸ਼ਾਂ ਲਈ ਜਿਨ੍ਹਾਂ ਨੂੰ ਆਟੋਮੈਟਿਕ ਤੌਰ 'ਤੇ ਬਦਲਿਆ ਨਹੀਂ ਜਾ ਸਕਦਾ ਹੈ, ਕਲਾਉਡਫਲੇਅਰ ਮੈਨੂਅਲ ਟੂਲ ਵੀ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ:

• Workers AI: AI.toMarkdown() ਵਿਧੀ ਦਾ ਸਮਰਥਨ ਕਰਦਾ ਹੈ, ਜੋ ਨਾ ਸਿਰਫ਼ HTML ਨੂੰ ਬਦਲ ਸਕਦਾ ਹੈ, ਸਗੋਂ PDF ਅਤੇ ਹੋਰ ਕਈ ਦਸਤਾਵੇਜ਼ਾਂ ਨੂੰ ਵੀ ਸੰਭਾਲ ਸਕਦਾ ਹੈ, ਅਤੇ ਆਟੋਮੈਟਿਕ ਸੰਖੇਪ ਦਾ ਵੀ ਸਮਰਥਨ ਕਰਦਾ ਹੈ।
• ਬ੍ਰਾਊਜ਼ਰ ਰੈਂਡਰਿੰਗ API: ਭਾਰੀ JS ਵਾਲੇ ਡਾਇਨਾਮਿਕ ਪੰਨਿਆਂ ਲਈ, ਤੁਸੀਂ ਪਹਿਲਾਂ ਕਲਾਉਡ ਬ੍ਰਾਊਜ਼ਰ ਵਿੱਚ ਰੈਂਡਰ ਕਰ ਸਕਦੇ ਹੋ, ਅਤੇ ਫਿਰ /markdown ਐਂਡਪੁਆਇੰਟ ਰਾਹੀਂ ਸਾਦਾ ਟੈਕਸਟ ਆਉਟਪੁੱਟ ਕਰ ਸਕਦੇ ਹੋ।

ਇਸਦੇ ਨਾਲ ਹੀ, ਕਲਾਉਡਫਲੇਅਰ ਰਾਡਾਰ ਨੇ ਡਾਟਾ ਮਾਪਾਂ ਨੂੰ ਵੀ ਅਪਡੇਟ ਕੀਤਾ ਹੈ। ਹੁਣ ਤੁਸੀਂ ਖਾਸ ਤੌਰ 'ਤੇ AI ਕ੍ਰਾਲਰ ਬੇਨਤੀਆਂ ਦੀ MIME ਕਿਸਮ ਵੰਡ ਨੂੰ ਟਰੈਕ ਕਰ ਸਕਦੇ ਹੋ। ਡਾਟਾ ਦਰਸਾਉਂਦਾ ਹੈ ਕਿ OpenAI ਦੇ OAI-Searchbot ਨੇ ਇਸ ਤਰੀਕੇ ਨਾਲ ਵੱਡੀ ਮਾਤਰਾ ਵਿੱਚ ਮਾਰਕਡਾਊਨ ਡਾਟਾ ਪ੍ਰਾਪਤ ਕਰਨਾ ਸ਼ੁਰੂ ਕਰ ਦਿੱਤਾ ਹੈ।

ਤੁਰੰਤ ਉਪਲਬਧ

ਵਰਤਮਾਨ ਵਿੱਚ ਇਹ ਵਿਸ਼ੇਸ਼ਤਾ ਬੀਟਾ ਪੜਾਅ ਵਿੱਚ ਹੈ।

ਸਾਰੇ Pro, Business, Enterprise ਯੋਜਨਾਵਾਂ ਅਤੇ SSL for SaaS ਉਪਭੋਗਤਾ ਇਸਨੂੰ ਮੁਫ਼ਤ ਵਿੱਚ ਚਾਲੂ ਕਰ ਸਕਦੇ ਹਨ।

ਤੁਹਾਨੂੰ ਸਿਰਫ਼ ਕੰਸੋਲ ਵਿੱਚ ਤੇਜ਼ ਕਾਰਵਾਈਆਂ ਵਿੱਚ ਮਾਰਕਡਾਊਨ ਫਾਰ ਏਜੰਟਸ ਸਵਿੱਚ ਨੂੰ ਚਾਲੂ ਕਰਨ ਦੀ ਲੋੜ ਹੈ, ਅਤੇ ਤੁਹਾਡੀ ਵੈੱਬਸਾਈਟ ਤੁਰੰਤ AI ਲਈ ਅਨੁਕੂਲ ਹੋ ਜਾਵੇਗੀ।

ਇੰਟਰਨੈੱਟ ਦਾ ਬੁਨਿਆਦੀ ਢਾਂਚਾ, ਹਿਊਮਨ-ਫਸਟ ਤੋਂ ਏਜੰਟ-ਫਸਟ ਵੱਲ ਵਿਕਸਤ ਹੋ ਰਿਹਾ ਹੈ।

ਵੇਰਵਿਆਂ ਲਈ: https://blog.cloudflare.com/markdown-for-agents/