একদিন একটি কোটি টোকেন পোড়ানো? প্রোগ্রামারের এআই বিল, 'অলসদের' শাস্তি দিচ্ছে

# **লক্ষ্য পাঠক**: এআই প্রোগ্রামিং টুল (যেমন কার্সর, উইন্ডসার্ফ, ট্রেই...) ব্যবহার করছেন এমন ডেভেলপার, এবং এআই খরচ সম্পর্কে ধারণার অভাব আছে এমন টেকনিক্যাল ম্যানেজার। > **মূল ধারণা**: টোকেন শুধুমাত্র একটি সাধারণ বিলিং ইউনিট নয়, এটি একটি 'মনোযোগের সম্পদ' এবং 'গণনার মুদ্রা'। এজেন্ট মডেলের অপব্যবহার, প্রাসঙ্গিকতা ব্যবস্থাপনার প্রতি অবহেলা, প্রকৃতপক্ষে কৌশলগত পরিশ্রম (এআইকে এলোমেলোভাবে কাজ করানো) দিয়ে কৌশলগত অলসতা (নিজেকে চিন্তা না করা) ঢেকে রাখা। ## **আপনার 'এআই খরচ' আপনার বেতনের চেয়ে বেশি হতে পারে** কয়েক দিন আগে, আমি আমার টোকেন বিল পরীক্ষা করেছিলাম। সেই সংখ্যাটি দেখে আমি কিছুটা অবাক হয়েছিলাম: **10 মিলিয়ন টোকেন।** মনে রাখবেন, এটি এক মাসের ব্যবহার নয়, এটি **একদিন**। আমি ভেবেছিলাম এটি খুব বেশি। পরে আমি টোকেন গণনা সম্পর্কিত একটি ছোট ভিডিও পোস্ট করেছি। ফলস্বরূপ, মন্তব্য বিভাগে আমি দেখেছি **'আকাশের উপরেও আকাশ আছে'**। নীচের চিত্রটি ব্যবহারকারী 'ওল্ড কে-এর দৈনিক'-এর একদিনে দুই কোটি টোকেন ব্যবহারের রেকর্ডের একটি স্ক্রিনশট:  প্রথমে আমি ভেবেছিলাম এটি একটি বিচ্ছিন্ন ঘটনা, কিন্তু যখন অনেক ব্যবহারকারী মন্তব্য করে বললেন যে তারা প্রতিদিন এক কোটি টোকেন ব্যবহার করেন, তখন আমি বুঝতে পারলাম যে এটি একটি খুব সাধারণ ঘটনা। এক কোটি টোকেন মানে কী? যদি 'কিছু মূলধারার বাণিজ্যিক মডেল'-এর সাধারণ বিলিং স্তরের (ইনপুট/আউটপুট আলাদাভাবে চার্জ করা হয়, মোটামুটিভাবে **10 ডলার / মিলিয়ন টোকেন** হিসাবে অনুমান করা হয়) হিসাবে গণনা করা হয়, তবে এটি একদিনে **1000 ডলার** পুড়িয়ে দেয়। **একদিন 7000 ইউয়ান পোড়ানো।** অনেক জুনিয়র প্রোগ্রামারের এক মাসের বেতন সম্ভবত এআই-এর 'চিন্তা' করার জন্য যথেষ্ট নয়। (নোট: বিভিন্ন মডেল/সরবরাহকারীর দামের মধ্যে অনেক পার্থক্য রয়েছে এবং ইনপুট এবং আউটপুটের একক মূল্য প্রায়শই আলাদা হয়। এখানে উদ্দেশ্য দশমিকের পরে দুটি সংখ্যা পর্যন্ত সঠিকভাবে গণনা করা নয়, বরং প্রথমে 'পরিমাণের অনুভূতি' তৈরি করা।) > আপনি যদি নিজে পুনরায় গণনা করতে চান তবে এখানে একটি সাধারণ সূত্র রয়েছে (ক্যাশিং/ডিসকাউন্ট এবং অন্যান্য বিশেষ নিয়ম উপেক্ষা করে): `খরচ ≈ (ইনপুট টোকেন / 1,000,000) × মূল্য_ইন + (আউটপুট টোকেন / 1,000,000) × মূল্য_আউট` বিষয়টি খুবই স্বজ্ঞাবিরোধী। আমরা সবসময় মনে করি এআই সস্তা, এমনকি OpenAI দাম কমাতে যাচ্ছে। কিন্তু কেন বাস্তব ইঞ্জিনিয়ারিংয়ে টোকেনের ব্যবহার **সূচকীয়ভাবে বিস্ফোরিত** হয়? আজ, আমি এই 'টোকেন ব্ল্যাক হোল'-এর পেছনের যুক্তি গভীরভাবে বিশ্লেষণ করব এবং আমরা কীভাবে ক্ষতি বন্ধ করতে পারি। ## **এক. কেন টোকেন 'সূচকীয়ভাবে বিস্ফোরিত' হয়?** অনেক ভাই টোকেনের পরিমাণ সম্পর্কে সম্পূর্ণভাবে অবগত নন। তারা মনে করেন: 'আরে, এটা শুধু কয়েকটি কোড পাঠানো, এতে আর কত হবে?' ### **1. একটি পরিষ্কার হিসাব** আমরা প্রথমে একটি **ইঞ্জিনিয়ারিংয়ের জন্য যথেষ্ট** পরিমাণগত ধারণা তৈরি করি। প্রথমে বিষয়টি পরিষ্কার করা যাক: **টোকেন অক্ষর সংখ্যা বা শব্দ সংখ্যা নয়।** এটি মডেল দ্বারা পাঠ্যকে বিভক্ত করার পরে 'এনকোডিং স্নিপেট', বিভিন্ন মডেল বিভিন্ন টোকেনাইজার ব্যবহার করে, তাই শুধুমাত্র একটি **পরিসীমা** দেওয়া যেতে পারে, কোনও 'সর্বজনীনভাবে প্রযোজ্য' ধ্রুবক নয়। নীচের সংখ্যাগুলি, আপনি এটিকে একটি 'আনুমানিক স্কেল' হিসাবে বিবেচনা করতে পারেন (উদ্দেশ্য হল পরিমাণ নির্ধারণ করা, খরচ অনুমান করা এবং ক্ষতি বন্ধ করার সিদ্ধান্ত নেওয়া): - **1টি চীনা অক্ষর**: সাধারণত 1-2 টোকেন (সাধারণ অক্ষর 1 এর কাছাকাছি, বিরল অক্ষর/সংমিশ্রণ 2-3 পর্যন্ত হতে পারে) - **1টি ইংরেজি শব্দ**: সাধারণত প্রায় 1.2-1.5 টোকেন (মোটামুটি অনুমানের জন্য 1.3 ব্যবহার করা যেতে পারে) - **1 লাইন কোড** ≈ 10-50 টোকেন (ইনডেন্টেশন, মন্তব্য, টাইপ ঘোষণা সহ) - সংক্ষিপ্ত ব্যবসায়িক যুক্তি ≈ 12-20 টোকেন - টাইপ টীকা, ইন্টারফেস, জেএসডক, 4-স্পেস ইনডেন্টেশন সহ ≈ 20-35 টোকেন - প্রচুর ইম্পোর্ট / ডেকোরেটর / মন্তব্য সহ ≈ 30-50+ টোকেন - **1টি সোর্স ফাইল** (400-600 লাইন, আধুনিক টিএস/জাভা প্রকল্প) ≈ 4,000-24,000 টোকেন খুব সাধারণ (মধ্যমা ≈ 12,000-18,000) - **1টি মাঝারি আকারের প্রকল্প** (100-200 সোর্স ফাইল, শুধুমাত্র `src/` গণনা করা হয়, `node_modules/` / জেনারেটেড কোড অন্তর্ভুক্ত নয়) - মূল সোর্স কোড 'একবার পড়া' প্রায়শই **লক্ষ লক্ষ টোকেন** থেকে শুরু হয় - যদি পরীক্ষা, কনফিগারেশন, স্ক্রিপ্ট, নির্ভরতা ঘোষণা, লগ একসাথে যোগ করা হয়, তবে কোটি কোটি টোকেনও অস্বাভাবিক নয় বর্তমান ফ্রন্ট-এন্ড প্রকল্পগুলি হল টাইপস্ক্রিপ্ট, যা জটিল ইন্টারফেস সংজ্ঞায় পরিপূর্ণ; অথবা জাভা, যেখানে প্রায়শই কয়েক ডজন লাইনের ইম্পোর্ট থাকে। এই 'প্লেট কোড' আসলে টোকেন হত্যাকারী। একটি মাঝারি আকারের প্রকল্পে, যদি 100টি ফাইল থাকে, তবে শুধুমাত্র এআইকে 'কোডটি একবার পড়তে' দিলে সম্ভবত **1 মিলিয়ন টোকেন** সরাসরি শেষ হয়ে যাবে। ### **2. টোকেনের 'স্নোবল' প্রভাব** টোকেন ব্যবহারের সবচেয়ে ভয়ঙ্কর দিকটি হল একক কথোপকথন নয়, বরং **বহু-রাউন্ড কথোপকথনে প্রসঙ্গের ক্রমবৃদ্ধি**। এলএলএম-এর প্রক্রিয়াটি **রাষ্ট্রহীন**। এআইকে আপনার আগের কথা মনে রাখার জন্য, সিস্টেম সাধারণত 'সিস্টেম প্রম্পট + ঐতিহাসিক কথোপকথন + আপনার উল্লেখ করা ফাইল/কোড স্নিপেট + সরঞ্জাম কল আউটপুট (যেমন অনুসন্ধানের ফলাফল, ত্রুটি লগ)' একসাথে প্যাকেজ করে মডেলে পাঠায়। আপনি মনে করেন আপনি শুধুমাত্র একটি প্রশ্ন করেছেন, কিন্তু আপনি আসলে 'পুরো প্রসঙ্গ প্যাকেজ'-এর জন্য বারবার অর্থ প্রদান করছেন। - **প্রথম রাউন্ড**: 10,000 টোকেন পাঠানো হয়েছে, এআই 1,000 উত্তর দিয়েছে। - **দ্বিতীয় রাউন্ড**: (10,000 + 1,000 + নতুন প্রশ্ন) পাঠানো হয়েছে, এআই উত্তর দিয়েছে... - **10ম রাউন্ড**: আপনার প্রসঙ্গ সম্ভবত 200,000 টোকেনে প্রসারিত হয়েছে। এই সময়ে, আপনি যদি শুধুমাত্র 'আমাকে একটি ভেরিয়েবলের নাম পরিবর্তন করতে সাহায্য করুন' জিজ্ঞাসা করেন, তবেও **200,000 টোকেন** খরচ হবে। এই কারণেই আপনি মনে করেন আপনি কিছুই করেননি, কিন্তু বিল দ্রুত বাড়ছে। আরও মারাত্মক বিষয় হল: **এজেন্ট মোড 'সক্রিয়ভাবে ফাইল পড়ে'**। আপনি যদি বলেন 'আমাকে ব্যবহারকারী মডিউল অপ্টিমাইজ করতে সাহায্য করুন', তবে এটি প্রথমে সম্পর্কিত ডিরেক্টরি স্ক্যান করতে পারে, তারপরে নির্ভরতা, তারপরে কনফিগারেশন, তারপরে পরীক্ষা... এটি অলসতা করছে না, এটি 'ডিফল্ট কৌশল অনুসারে দায়িত্ব পালন করছে', এবং ডিফল্ট কৌশলটি প্রায়শই হল: **আরও পড়ুন, আরও চেষ্টা করুন, আরও পুনরাবৃত্তি করুন**। ## **দুই. দুটি 'অলসতা' আপনার ইঞ্জিনিয়ারিং ক্ষমতা ধ্বংস করছে** মন্তব্য বিভাগে সেই 'এক কোটি ভাই'-দের পর্যালোচনা করার পরে, আমি দেখেছি টোকেন বৃদ্ধির মূল কারণ শুধুমাত্র এআই-এর ব্যবহারের প্রক্রিয়া নয়, মানুষের **অলসতা**ও ঘনিষ্ঠভাবে জড়িত। নীচে দুটি সাধারণ **'মানসিক অলসতা'** রয়েছে। ### **অলসতা এক: দায়িত্বজ্ঞানহীন ম্যানেজার টাইপ** আপনারও কি এই ধরনের মানসিকতা আছে: - *'এই পুরনো প্রকল্পটি খুব বিশৃঙ্খল, আমি এর যুক্তি দেখতে অলস, সরাসরি এআইকে দিয়ে দেই।'* - *'কার্সর এজেন্ট মোড চালু করেছে, খুব ভালো, এটিকে নিজেই বাগ ঠিক করতে দিন।'* সুতরাং, আপনি পুরো `src` ফোল্ডারটি এজেন্টকে দিয়ে একটি অস্পষ্ট নির্দেশ দিয়েছেন: 'আমাকে ব্যবহারকারী মডিউলটি অপ্টিমাইজ করতে সাহায্য করুন।' এজেন্ট কাজ শুরু করেছে: - এটি 50টি ফাইল পড়েছে (500,000 খরচ হয়েছে)। - এটি দেখেছে যে `utils` উল্লেখ করা হয়েছে, তাই এটি সরঞ্জাম ক্লাস পড়তে গেছে (200,000 খরচ হয়েছে)। - এটি পরিবর্তন করার চেষ্টা করেছে, একটি ত্রুটি ঘটেছে, ত্রুটি লগ পড়েছে (100,000 খরচ হয়েছে)। - এটি ঠিক করার চেষ্টা করেছে, আবার একটি ত্রুটি ঘটেছে... এটি পাগলের মতো চেষ্টা করছে, পাগলের মতো টোকেন খরচ করছে। আর আপনি? আপনি ফোন স্ক্রোল করছেন, মনে করছেন আপনি খুব দক্ষ। **সত্য হল: আপনি অর্থ দিয়ে 'ছদ্ম দক্ষতা' কিনেছেন, যা এমন একটি কোড তৈরি করেছে যা আপনি পরে বজায় রাখতে পারবেন না।** আরও পেশাদারভাবে বলতে গেলে, এখানে দুটি স্তরের ক্ষতি রয়েছে: - **খরচ স্তর**: ইনপুট টোকেন বড় হয়, পুনরাবৃত্তির সংখ্যা বৃদ্ধি পায়, খরচ রৈখিকভাবে যোগ হয় - **ইঞ্জিনিয়ারিং স্তর**: আপনি প্রসঙ্গ এবং সিদ্ধান্ত নেওয়ার অধিকার হারান, এবং শেষ পর্যন্ত শুধুমাত্র 'চললেই হল' এমন একটি অনিয়ন্ত্রিত সিস্টেম থাকে ### **অলসতা দুই: সবকিছু একসাথে মেশানো টাইপ** আপনি যখন কোনও বাগ পান, তখন আপনি কীভাবে এটি এআইকে দেন? আপনি কি সরাসরি পুরো ত্রুটি কনসোল `Ctrl+A` কপি করেন, নাকি সরাসরি `@Codebase` করে এআইকে নিজে খুঁজে নিতে বলেন? একে বলা হয় **'সবকিছু একসাথে মেশানো'**। আপনি সমস্যার মূল কারণ সনাক্ত করতে অলস, আপনি মূল কোড স্নিপেট নির্বাচন করতে অলস। আপনি 99% অকার্যকর তথ্য (নয়েজ) এবং 1% কার্যকর তথ্য (সংকেত) একসাথে এআইকে দেন। **এআই একটি বিবর্ধকের মতো।** - আপনি যদি তাকে পরিষ্কার যুক্তি (সংকেত) দেন, তবে এটি আপনার প্রজ্ঞা বাড়িয়ে তুলবে, কম টোকেন ব্যবহার হবে এবং ফলাফল ভালো হবে। - আপনি যদি তাকে বিশৃঙ্খলা এবং অস্পষ্টতা দেন, তবে এটি আপনার বিশৃঙ্খলা বাড়িয়ে তুলবে, টোকেন দ্রুত বাড়বে এবং আবর্জনা তৈরি হবে। ## **তিন. সমাধান: কীভাবে দক্ষতার সাথে এআই ব্যবহার করবেন এবং টোকেন খরচ কমাবেন** আপনার মানিব্যাগ রক্ষা করতে, আপনার **ইঞ্জিনিয়ারিং নিয়ন্ত্রণ** রক্ষা করা আরও গুরুত্বপূর্ণ, আমাদের এআই-এর সাথে সহযোগিতার পদ্ধতি পরিবর্তন করতে হবে। ### **1. সর্বনিম্ন প্রসঙ্গ নীতি** এটি এআই প্রোগ্রামিংয়ের প্রথম নীতি। **এআইকে সর্বদা শুধুমাত্র বর্তমান সমস্যা সমাধানের জন্য প্রয়োজনীয় সর্বনিম্ন কোড সেট দিন।** কার্সরে, এই অপারেটরগুলি ভালভাবে ব্যবহার করুন: - **`@File`**: পুরো ফোল্ডারের পরিবর্তে শুধুমাত্র প্রাসঙ্গিক ফাইলগুলি উল্লেখ করুন। - `Ctrl+L` **কোড নির্বাচন করুন**: পুরো ফাইলের পরিবর্তে শুধুমাত্র কার্সর দ্বারা নির্বাচিত 50 লাইনের কোড চ্যাটে পাঠান। - **`@Docs`**: তৃতীয় পক্ষের লাইব্রেরির জন্য, অনুমান করার পরিবর্তে ডকুমেন্টেশন উল্লেখ করুন। এটি আমার প্রায়শই ব্যবহৃত, কাঠামোগত, পুনরায় ব্যবহারযোগ্য এসওপি (আপনি এটি অনুসরণ করলে, টোকেন দৃশ্যমানভাবে কমে যাবে): এই কথার অর্থ হল: এআই-এর সাথে সহযোগিতা করার সময়, দক্ষতা এবং নির্ভুলতার দিকে মনোযোগ দিন। নির্দিষ্ট পদ্ধতিগুলি নিম্নরূপ: - প্রথমে লক্ষ্যটি পরিষ্কার করুন: এআইকে বর্তমান সমস্যা এবং কাঙ্ক্ষিত ফলাফল সংক্ষিপ্তভাবে বলুন, এটিকে নিজে অনুমান করতে দেবেন না। - সমস্যার পুনরুৎপাদনকে সহজ করুন: জটিল পদ্ধতির পরিবর্তে সমস্যাটি পুনরায় তৈরি করার জন্য সবচেয়ে সহজ পদ্ধতি ব্যবহার করুন, সবচেয়ে কম এবং গুরুত্বপূর্ণ কোড পেস্ট করুন, প্রচুর অপ্রাসঙ্গিক সামগ্রী যোগ করবেন না। - সর্বনিম্ন প্রয়োজনীয় তথ্য সরবরাহ করুন: শুধুমাত্র 1-3টি প্রাসঙ্গিক ফাইল, মূল ফাংশন এবং ত্রুটি স্ট্যাকের প্রথম কয়েক লাইন দিন, সম্পূর্ণ তথ্য দেবেন না। - পরিবর্তনের পয়েন্টগুলি ফেরত দিতে বলুন: এআইকে শুধুমাত্র কোথায় পরিবর্তন করতে হবে এবং কেন পরিবর্তন করতে হবে তা বলতে বলুন, এটিকে পুরো অনুচ্ছেদটি পুনরায় লিখতে দেবেন না। - অবশেষে নিজে পরীক্ষা করুন: সবচেয়ে সংক্ষিপ্ত যাচাইকরণ করুন, নিশ্চিত করুন যে পরিবর্তনটি অন্য কোথাও প্রভাবিত করে না। সংক্ষেপে, এআইকে সবচেয়ে কম এবং সবচেয়ে গুরুত্বপূর্ণ তথ্য দিয়ে কাজ করতে দিন এবং চূড়ান্ত নিয়ন্ত্রণ এবং বিচার নিজের কাছে রাখুন। ### **2. সবচেয়ে গুরুত্বপূর্ণ: প্রথমে চিন্তা করুন, তারপরে প্রম্পট করুন, প্রথমে পরিকল্পনা করুন, তারপরে কাজ করুন** এন্টার চাপার আগে, নিজেকে 10 সেকেন্ডের জন্য থামতে বাধ্য করুন এবং নিজেকে তিনটি প্রশ্ন জিজ্ঞাসা করুন: - **আমি কী সমস্যা সমাধান করছি?** (সীমানা সংজ্ঞায়িত করুন) - **এই সমস্যায় কোন মূল মডিউলগুলি জড়িত?** (প্রসঙ্গ নির্বাচন করুন) - **আমি যদি নিজে লিখতাম, তবে কীভাবে লিখতাম?** (ধারণা সরবরাহ করুন) **আপনি 1, এআই হল পিছনের 0।** যদি 1 দাঁড়াতে না পারে, তবে পিছনের 0 যতই থাকুক না কেন, তা কেবল অর্থহীন খরচ। ## **কিছু আন্তরিক কথা** 'একদিন এক কোটি টোকেন'-এর গল্প সম্ভবত সবার জীবনে ঘটবে না। তবে টোকেন অপচয় করার আচরণ প্রায় প্রতিটি এআই প্রোগ্রামিং ব্যবহারকারী প্রোগ্রামারই অনুভব করেছেন। এআই প্রোগ্রামিংকে সহজ করে তুললেও, এখনও একটি বাধা রয়েছে। **যারা সত্যিই এটি ব্যবহার করতে জানেন তারাই উপকৃত হবেন।** আগে, আপনি খারাপ কোড লিখলে শুধুমাত্র সহকর্মীরা 'ঘৃণা' করতেন। এখন, আপনি যে অলসতা করেন তা সরাসরি বিলের সংখ্যায় পরিণত হবে এবং নিজের উপর ক্রমবর্ধমান খরচের মাধ্যমে শাস্তি দেবে।অতএব, 'হাত-ছাড়া মালিক' হবেন না। একজন গভীরভাবে চিন্তাশীল, নিখুঁতভাবে প্রকাশকারী, পরিকল্পনা করে তারপর কাজ করা এআই আর্কিটেক্ট হোন। এই যুগে এটাই আমাদের সবচেয়ে বড় বিকল্পহীনতা।