نشانہ قاری: وہ ڈیولپرز جو AI پروگرامنگ ٹولز (جیسے کرسر، ونڈسرف، ٹرے...) استعمال کر رہے ہیں، اور وہ تکنیکی منتظمین جنہیں AI کی لاگت کا علم نہیں ہے۔

مرکزی خیال: ٹوکن صرف ایک سادہ بلنگ یونٹ نہیں ہے، بلکہ ایک 'توجہ کا ذریعہ' اور 'حساب کتاب کی کرنسی' ہے۔ ایجنٹ موڈ کا غلط استعمال اور سیاق و سباق کے انتظام کو نظر انداز کرنا، درحقیقت حکمت عملی میں محنت (AI کو اندھا دھند کام کرنے دینا) سے حکمت عملی میں سستی (خود نہ سوچنا) کو چھپانا ہے۔

آپ کا 'AI خرچہ' آپ کی تنخواہ سے بھی زیادہ ہو سکتا ہے

کچھ دن پہلے، میں نے اپنے ٹوکن بل کی جانچ کی۔ جب میں نے وہ نمبر دیکھا تو میں تھوڑا حیران ہوا: 10 ملین ٹوکن۔ نوٹ کریں، یہ ایک مہینے کا استعمال نہیں ہے، یہ ایک دن کا ہے۔

میں نے سوچا کہ یہ میرے لیے بہت زیادہ ہے۔ بعد میں میں نے ٹوکن کیلکولیشن سے متعلق ایک مختصر ویڈیو پوسٹ کی۔

نتیجے کے طور پر، تبصرہ سیکشن نے مجھے دکھایا کہ 'آسمان سے پرے آسمان' کیا ہے۔

نیچے دی گئی تصویر ایک نیٹیزن 'اولڈ کے کی روزمرہ کی زندگی' کی ایک دن میں دو سو ملین ٹوکن کی کھپت کے ریکارڈ کا اسکرین شاٹ ہے:

شروع میں، میں نے سوچا کہ یہ ایک الگ واقعہ ہو سکتا ہے، لیکن جب بہت سے نیٹیزنز نے تبصرہ کیا کہ وہ روزانہ 100 ملین خرچ کرتے ہیں، تو میں سمجھ گیا کہ یہ ایک بہت عام رجحان ہے۔

ایک سو ملین ٹوکن کیا ہے؟ اگر ہم 'کچھ اہم تجارتی ماڈلز' کے عام بلنگ پیمانے کے مطابق حساب لگائیں (ان پٹ/آؤٹ پٹ دونوں کے لیے الگ سے بل کیا جاتا ہے، مجموعی طور پر تقریباً 10 امریکی ڈالر فی ملین ٹوکن)، تو یہ ایک دن میں 1000 ڈالر جل جاتے ہیں۔ ایک دن میں 7000 یوآن جل جاتے ہیں۔ بہت سے جونیئر پروگرامرز کی ایک مہینے کی تنخواہ شاید AI کے اس ایک دن کی 'سوچ' کے لیے بھی کافی نہیں ہوگی۔

(نوٹ: مختلف ماڈلز/سپلائرز کی قیمتوں میں بہت فرق ہوتا ہے، اور ان پٹ اور آؤٹ پٹ کی قیمتیں بھی اکثر مختلف ہوتی ہیں۔ یہاں مقصد اعشاریہ کے بعد دو مقامات تک درست حساب لگانا نہیں ہے، بلکہ پہلے 'پیمانے کا احساس' قائم کرنا ہے۔)

اگر آپ خود دوبارہ حساب لگانا چاہتے ہیں، تو یہاں ایک عام فارمولا ہے (کیش/ڈسکاؤنٹ جیسے خصوصی قواعد کو نظر انداز کرتے ہوئے): لاگت ≈ (ان پٹ ٹوکن / 1,000,000) × قیمت_ان + (آؤٹ پٹ ٹوکن / 1,000,000) × قیمت_آؤٹ

یہ بات بہت غیر منطقی ہے۔ ہم ہمیشہ سوچتے ہیں کہ AI سستا ہے، اور OpenAI یہاں تک کہ قیمتیں کم کرنے والا ہے۔ لیکن اصل انجینئرنگ میں، ٹوکن کی کھپت ایکسپونینشل دھماکے کی طرح کیوں بڑھتی ہے؟

آج، میں آپ کو اس 'ٹوکن بلیک ہول' کے پیچھے کی منطق کو گہرائی سے سمجھاؤں گا، اور ہم اسے کیسے روک سکتے ہیں۔

I. ٹوکن 'ایکسپونینشل دھماکے' کی طرح کیوں بڑھتے ہیں؟

بہت سے لوگوں کو ٹوکن کے حجم کا کوئی اندازہ نہیں ہے۔ وہ سوچتے ہیں: 'ارے، یہ صرف چند کوڈ کے ٹکڑے ہیں، اس میں کتنا ہو سکتا ہے؟'

1. ایک واضح حساب کتاب کریں

ہم پہلے ایک انجینئرنگ کے لیے کافی مقداری احساس قائم کرتے ہیں۔ آئیے پہلے بات کو واضح کریں: ٹوکن الفاظ کی تعداد نہیں ہے، اور نہ ہی حروف کی تعداد ہے۔ یہ ماڈل کے ذریعے متن کو تقسیم کرنے کے بعد 'کوڈ کے ٹکڑے' ہیں، مختلف ماڈلز مختلف ٹوکنائزر استعمال کرتے ہیں، اس لیے ہم صرف رینج دے سکتے ہیں، کوئی 'یونیورسل' مستقل نہیں دے سکتے۔

نیچے دیئے گئے نمبروں کو صرف 'تخمینہ پیمانہ' سمجھیں (مقصد پیمانے کا اندازہ لگانا، لاگت کا تخمینہ لگانا، اور نقصان کو روکنے کا فیصلہ کرنا ہے):

• 1 چینی حرف: عام طور پر 1-2 ٹوکن (زیادہ استعمال ہونے والے حروف 1 کے قریب ہوتے ہیں، اور نایاب حروف/مجموعے 2-3 تک پہنچ سکتے ہیں)

• 1 انگریزی لفظ: عام طور پر تقریباً 1.2-1.5 ٹوکن (تخمینہ لگانے کے لیے تقریباً 1.3 استعمال کریں)

• 1 لائن کوڈ ≈ 10-50 ٹوکن (انڈینٹیشن، تبصرے، قسم کے اعلانات سمیت)

• سادہ کاروباری منطق ≈ 12-20 ٹوکن

• قسم کے تشریحات، انٹرفیس، JSDoc، 4 اسپیس انڈینٹیشن کے ساتھ ≈ 20-35 ٹوکن

• بہت زیادہ امپورٹ/ڈیکوریٹر/تبصرے کے ساتھ ≈ 30-50+ ٹوکن

• 1 سورس فائل (400-600 لائنیں، جدید TS/Java پروجیکٹ) ≈ 4,000-24,000 ٹوکن بہت عام ہے (میڈین ≈ 12,000-18,000)

• 1 درمیانے سائز کا پروجیکٹ (100-200 سورس فائلیں، صرف src/ شمار کریں، node_modules/ / تیار کردہ کوڈ شامل نہیں)

• بنیادی سورس کوڈ کو 'پڑھنا' اکثر لاکھوں ٹوکن سے شروع ہوتا ہے۔

• اگر آپ ٹیسٹ، کنفیگریشن، اسکرپٹ، انحصار کے اعلانات، اور لاگز کو بھی شامل کرتے ہیں، تو دس ملین ٹوکن کوئی تعجب کی بات نہیں ہے۔

آج کل کے فرنٹ اینڈ پروجیکٹس TypeScript ہیں، جو پیچیدہ انٹرفیس کی تعریفوں سے بھرے ہوئے ہیں۔ یا Java، جو اکثر درجنوں لائنوں کے امپورٹ کے ساتھ آتا ہے۔ یہ 'بوائلر پلیٹ کوڈ' دراصل ٹوکن قاتل ہیں۔ ایک درمیانے سائز کے پروجیکٹ میں، اگر 100 فائلیں ہیں، تو صرف AI کو 'کوڈ پڑھنے' دینے سے براہ راست 1 ملین ٹوکن ختم ہو سکتے ہیں۔

2. ٹوکن کا 'برف کا گولا' اثر

ٹوکن کی کھپت کا سب سے خوفناک پہلو ایک بار کی گفتگو نہیں ہے، بلکہ متعدد دور کی گفتگو میں سیاق و سباق کا جمع ہونا ہے۔

LLM کا طریقہ کار بے حالت ہے۔ AI کو یہ یاد دلانے کے لیے کہ آپ نے پچھلی بار کیا کہا تھا، سسٹم عام طور پر 'سسٹم پرامپٹ + تاریخی گفتگو + آپ کی حوالہ کردہ فائلیں/کوڈ کے ٹکڑے + ٹول کال آؤٹ پٹ (جیسے تلاش کے نتائج، ایرر لاگز)' کو ایک ساتھ پیک کر کے ماڈل کو بھیجتا ہے۔ آپ کو لگتا ہے کہ آپ نے صرف ایک سوال پوچھا ہے، لیکن درحقیقت آپ بار بار 'پورے سیاق و سباق کے پیکج' کے لیے ادائیگی کر رہے ہیں۔

• پہلا دور: 10,000 ٹوکن بھیجے گئے، AI نے 1,000 کا جواب دیا۔

• دوسرا دور: (10,000 + 1,000 + نیا سوال) بھیجا گیا، AI نے جواب دیا...

• دسواں دور: آپ کا سیاق و سباق شاید 200,000 ٹوکن تک پھیل چکا ہے۔

اس وقت، یہاں تک کہ اگر آپ صرف 'متغیر کا نام تبدیل کرنے میں میری مدد کریں' جیسا سوال پوچھتے ہیں، تو بھی آپ 200,000 ٹوکن کی فیس خرچ کر رہے ہیں۔ یہی وجہ ہے کہ آپ کو لگتا ہے کہ آپ نے کچھ نہیں کیا، لیکن آپ کا بل تیزی سے بڑھ رہا ہے۔

اس سے بھی بدتر یہ ہے کہ: ایجنٹ موڈ 'فعال طور پر فائلیں پڑھتا ہے'۔ آپ 'صارف ماڈیول کو بہتر بنانے میں میری مدد کریں' کہتے ہیں، اور یہ پہلے متعلقہ ڈائریکٹری کو اسکین کر سکتا ہے، پھر انحصار کو ٹریک کر سکتا ہے، پھر کنفیگریشن کو ٹریک کر سکتا ہے، پھر ٹیسٹ کو ٹریک کر سکتا ہے... یہ سستی نہیں کر رہا ہے، یہ 'ڈیفالٹ حکمت عملی کے مطابق اپنی ذمہ داری پوری کر رہا ہے'، اور ڈیفالٹ حکمت عملی اکثر یہ ہوتی ہے: زیادہ پڑھیں، زیادہ کوشش کریں، زیادہ تکرار کریں۔

II. دو قسم کی 'سستی' آپ کی انجینئرنگ کی صلاحیت کو تباہ کر رہی ہیں

تبصرہ سیکشن میں موجود ان '100 ملین بھائیوں' کے تجزیے کے بعد، میں نے پایا کہ ٹوکن میں اضافے کی جڑیں صرف AI کے استعمال کے طریقہ کار کے مسائل میں ہی نہیں ہیں، بلکہ لوگوں کی سستی سے بھی گہرا تعلق ہے۔

ذیل میں دو عام قسم کی 'فکری سستی' ہیں۔

سستی ایک: ہاتھ جھاڑنے والا قسم

کیا آپ کے پاس بھی یہ ذہنیت ہے:

• 'یہ پرانا پروجیکٹ بہت گندا ہے، میں منطق کو دیکھنے کی زحمت نہیں کروں گا، میں اسے براہ راست AI کو دے دوں گا۔'

• 'کرسر نے ایجنٹ موڈ جاری کیا ہے، بہت اچھا، اسے خود ہی بگ ٹھیک کرنے دو۔'

لہذا، آپ پورے src فولڈر کو ایجنٹ کو دے دیتے ہیں، اور ایک مبہم ہدایت جاری کرتے ہیں: 'صارف ماڈیول کو بہتر بنانے میں میری مدد کریں۔' ایجنٹ کام کرنا شروع کر دیتا ہے:

• اس نے 50 فائلیں پڑھیں (500,000 خرچ ہوئے)۔

• اس نے پایا کہ utils کا حوالہ دیا گیا ہے، اور ٹول کلاس کو پڑھنے چلا گیا (200,000 خرچ ہوئے)۔

• اس نے ترمیم کرنے کی کوشش کی، ایک ایرر آیا، ایرر لاگ پڑھا (100,000 خرچ ہوئے)۔

• اس نے ٹھیک کرنے کی کوشش کی، اور ایک اور ایرر آیا...

یہ پاگل پن کی حد تک کوشش کر رہا ہے، پاگل پن کی حد تک ٹوکن خرچ کر رہا ہے۔ اور آپ؟ آپ اپنا فون سکرول کر رہے ہیں، یہ سوچ کر کہ آپ کتنے موثر ہیں۔ سچ یہ ہے کہ: آپ پیسے کے بدلے 'جعلی کارکردگی' خرید رہے ہیں، اور کوڈ کا ایک ڈھیر تیار کر رہے ہیں جسے آپ بعد میں برقرار نہیں رکھ سکتے۔

زیادہ پیشہ ورانہ طور پر، یہاں دو پرتوں کا نقصان ہے:

• لاگت کی پرت: ان پٹ ٹوکن بڑا ہو جاتا ہے، تکرار کی تعداد بڑھ جاتی ہے، اور فیسیں خطی طور پر جمع ہوتی ہیں۔

• انجینئرنگ کی پرت: آپ سیاق و سباق اور فیصلہ سازی کا حق کھو دیتے ہیں، اور آخر میں آپ کے پاس صرف ایک 'یہ چلتا ہے' قسم کا غیر کنٹرول شدہ نظام رہ جاتا ہے۔

سستی دو: ہر چیز کو ایک ساتھ پھینک دینا

جب آپ کو کوئی بگ آتا ہے، تو آپ اسے AI کو کیسے دیتے ہیں؟ کیا آپ براہ راست پورے ایرر کنسول کو Ctrl+A کاپی کرتے ہیں، یا براہ راست @Codebase AI کو خود تلاش کرنے دیتے ہیں؟

اسے 'ہر چیز کو ایک ساتھ پھینک دینا' کہتے ہیں۔ آپ مسئلہ کے مرکز کو تلاش کرنے کی زحمت نہیں کرتے، آپ اہم کوڈ کے ٹکڑوں کو فلٹر کرنے کی زحمت نہیں کرتے۔ آپ 99% غیر موثر معلومات (شور) اور 1% موثر معلومات (سگنل) کو ایک ساتھ AI کو دے دیتے ہیں۔

AI ایک ایمپلیفائر کی طرح ہے۔

• آپ اسے واضح منطق (سگنل) دیتے ہیں، یہ آپ کی ذہانت کو بڑھاتا ہے، کم ٹوکن استعمال ہوتے ہیں، اور اثر اچھا ہوتا ہے۔

• آپ اسے الجھن اور ابہام دیتے ہیں، یہ آپ کی الجھن کو بڑھاتا ہے، ٹوکن تیزی سے بڑھتے ہیں، اور کوڑا کرکٹ پیدا ہوتا ہے۔

III. حل: AI کو مؤثر طریقے سے کیسے استعمال کریں اور ٹوکن کی کھپت کو کیسے کم کریں

اپنے بٹوے کی حفاظت کے لیے، سب سے اہم بات یہ ہے کہ اپنے انجینئرنگ کنٹرول کی حفاظت کریں، ہمیں AI کے ساتھ اپنے تعاون کے انداز کو تبدیل کرنا ہوگا۔

1. کم سے کم سیاق و سباق کا اصول

یہ AI پروگرامنگ کا پہلا اصول ہے۔ ہمیشہ AI کو صرف اس مسئلے کو حل کرنے کے لیے کم سے کم کوڈ سیٹ دیں۔

کرسر میں، ان آپریٹرز کا اچھا استعمال کریں:

• @File: صرف متعلقہ فائلوں کا حوالہ دیں، پورے فولڈر کا نہیں۔

• Ctrl+L کوڈ منتخب کریں: صرف کرسر کے ذریعے منتخب کردہ 50 لائنوں کا کوڈ چیٹ کو بھیجیں، پوری فائل کا نہیں۔

• @Docs: تھرڈ پارٹی لائبریریوں کے لیے، دستاویزات کا حوالہ دیں، اسے اندازہ لگانے نہ دیں۔

یہ ایک منظم، دوبارہ قابل استعمال SOP ہے جسے میں اکثر استعمال کرتا ہوں (آپ اس پر عمل کریں، اور ٹوکن واضح طور پر گر جائیں گے):

اس پیراگراف کا مطلب ہے: AI کے ساتھ تعاون کرتے وقت، کارکردگی اور درستگی پر توجہ دیں۔ مخصوص طریقے درج ذیل ہیں:

• پہلے مقصد کی وضاحت کریں: AI کو موجودہ مسئلے اور مطلوبہ نتائج کے بارے میں مختصراً بتائیں، اسے خود اندازہ لگانے نہ دیں۔

• مسئلے کی دوبارہ تخلیق کو آسان بنائیں: اگر آپ مسئلے کو دوبارہ تخلیق کرنے کے لیے آسان ترین طریقہ استعمال کر سکتے ہیں، تو پیچیدہ طریقہ استعمال نہ کریں، کم سے کم اور اہم کوڈ پیسٹ کریں، غیر متعلقہ مواد کا ڈھیر نہ لگائیں۔

• کم سے کم ضروری معلومات فراہم کریں: صرف 1-3 متعلقہ فائلیں، اہم فنکشنز اور ایرر اسٹیک کے پہلے چند لائنیں دیں، پوری معلومات نہ دیں۔

• ترمیم شدہ پوائنٹس واپس کرنے کی درخواست کریں: AI کو صرف یہ بتانے دیں کہ کہاں تبدیل کرنا ہے اور کیوں تبدیل کرنا ہے، اسے پوری کوڈ کو دوبارہ لکھنے نہ دیں۔

• آخر میں خود چیک کریں: سب سے آسان تصدیق کریں تاکہ یہ یقینی بنایا جا سکے کہ تبدیلیوں سے دوسری جگہوں پر کوئی اثر نہیں پڑتا ہے۔

مختصراً، AI کو کم سے کم اور اہم معلومات کے ساتھ کام کرنے دیں، اور حتمی کنٹرول اور فیصلہ سازی کو برقرار رکھیں۔

2. سب سے اہم بات یہ ہے کہ: پہلے سوچیں، پھر پرامپٹ کریں، پہلے منصوبہ بنائیں، پھر عمل کریں

انٹر دبانے سے پہلے، اپنے آپ کو 10 سیکنڈ کے لیے رکنے پر مجبور کریں، اور اپنے آپ سے تین سوال پوچھیں:

• میں کیا مسئلہ حل کر رہا ہوں؟ (حدود کی وضاحت کریں)

• اس مسئلے میں کون سے بنیادی ماڈیولز شامل ہیں؟ (سیاق و سباق کو فلٹر کریں)

• اگر میں خود لکھتا، تو میں کیسے لکھتا؟ (خیالات فراہم کریں)

آپ 1 ہیں، AI بعد میں 0 ہے۔ اگر 1 قائم نہیں رہ سکتا، تو بعد میں جتنے بھی 0 ہوں، وہ صرف بے معنی کھپت ہیں۔

چند دلی باتیں

'ایک دن میں ایک سو ملین ٹوکن' کی کہانی شاید ہر ایک کے ساتھ نہ ہو۔ لیکن ٹوکن ضائع کرنے کا رویہ تقریباً ہر اس پروگرامر کو ہوتا ہے جو AI پروگرامنگ استعمال کرتا ہے۔

اگرچہ AI نے پروگرامنگ کو آسان بنا دیا ہے، لیکن اب بھی ایک حد موجود ہے۔ جو لوگ اسے صحیح طریقے سے استعمال کرنا جانتے ہیں، وہ ہی اس سے فائدہ اٹھا سکتے ہیں۔

پہلے، آپ کا خراب کوڈ صرف ساتھیوں کو 'ناراض' کرے گا۔ اب، آپ کی سستی براہ راست بل پر ایک نمبر بن جائے گی، اور بڑھتی ہوئی لاگت سے خود کو سزا دے گی۔لہذا، "غیر ذمہ دارانہ رویہ" اختیار نہ کریں۔ ایک گہری سوچ رکھنے والے، درست اظہار کرنے والے، اور پہلے منصوبہ بندی کرنے والے پھر عمل کرنے والے AI آرکیٹیکٹ بنیں۔ یہی اس دور میں ہماری سب سے بڑی ناقابلِ تبدیلی صلاحیت ہے۔