মেশিন লার্নিংয়ের আসল দুর্গ

যখন আমরা AI প্রতিযোগিতা নিয়ে কথা বলি, তখন সাধারণত মডেলের গঠন, প্যারামিটারের আকার, কম্পিউটিং ক্ষমতার ওপর মনোযোগ দেই। কিন্তু এগুলো আসল বাধা নয়।

অ্যালগরিদম নকল করা যেতে পারে। কম্পিউটিং ক্ষমতা ভাড়া করা যেতে পারে। কিন্তু মালিকানাধীন বাস্তব বিশ্বের ডেটা পাইপলাইন? সেটাই আসল দুর্গ।

ML প্রতিযোগিতার তিনটি পর্যায়

গত দশ বছরে, মেশিন লার্নিংয়ের প্রতিযোগিতার কেন্দ্রবিন্দু তিনবার স্থানান্তরিত হয়েছে:

প্রথম পর্যায়: অ্যালগরিদম প্রতিযোগিতা (২০১২-২০১৭)

• কার কাছে ভালো মডেলের গঠন আছে
• CNN, RNN, Transformer এর উদ্ভাবকরা সুবিধা পেয়েছেন
• কিন্তু পেপার প্রকাশিত হওয়ার পর, সবাই ব্যবহার করতে পারে

দ্বিতীয় পর্যায়: কম্পিউটিং ক্ষমতা প্রতিযোগিতা (২০১৭-২০২২)

• কার কাছে বেশি GPU আছে
• GPT-3 প্রশিক্ষণ দেওয়ার জন্য ১০০০+ V100 দরকার
• কিন্তু ক্লাউড পরিষেবা কম্পিউটিং ক্ষমতাকে ক্রয়যোগ্য পণ্যে পরিণত করেছে

তৃতীয় পর্যায়: ডেটা প্রতিযোগিতা (২০২২-বর্তমান)

• কার কাছে অনন্য ডেটা ফ্লাইহুইল আছে
• সিন্থেটিক ডেটা বাস্তব বিশ্বের ডেটার বিকল্প হতে পারে না
• এটাই নকল করা যায় না এমন বাধা

কেন ডেটা শেষ দুর্গ?

তিনটি কারণ:

1. দুর্লভতা: উচ্চ মানের, ভালোভাবে লেবেলযুক্ত বাস্তব ডেটা স্বাভাবিকভাবেই দুর্লভ
2. লেনদেন অযোগ্যতা: এমনকি অর্থ দিতে রাজি থাকলেও, প্রতিযোগীর ডেটা পাইপলাইন কেনা যায় না
3. চক্রবৃদ্ধি প্রভাব: ভালো ডেটা → ভালো পণ্য → বেশি ব্যবহারকারী → বেশি ডেটা

X-এ একজন ML অনুশীলনকারী লিখেছেন:

"Algorithms can be replicated. Compute can be rented. But proprietary real-world data pipelines? That's a moat."

এটি সমস্যার মূল কথাটি ধরেছে। আপনি যখন OpenAI কে প্রকাশকদের সাথে বিশেষ চুক্তি স্বাক্ষর করতে দেখেন, Google যখন Reddit ডেটা অ্যাক্সেসের জন্য বিলিয়ন ডলার খরচ করে, তখন তারা বিষয়বস্তু কেনে না - তারা প্রশিক্ষণ ডেটার দুর্গ কেনে।

পক্ষপাত-ভেরিয়েন্স ট্রেডঅফের প্রত্যাবর্তন

মজার বিষয় হল, যখন আমরা ডেটার গুণমান নিয়ে আলোচনা করি, তখন মেশিন লার্নিংয়ের সবচেয়ে ক্লাসিক ধারণাটি ফিরে আসছে: পক্ষপাত-ভেরিয়েন্স ট্রেডঅফ।

"Machine Learning in a nutshell: minimize error to achieve optimal bias-variance tradeoff. Higher the bias, more the error between predictions and ground truth - i.e. underfitting. Higher the variance, more the error from small fluctuations in the training set - i.e. overfitting." — @bindureddy

LLM যুগে, আমরা একবার ভেবেছিলাম এই ধারণাটি পুরনো হয়ে গেছে। কিন্তু দেখা যাচ্ছে, ডেটার গুণমান সমস্যার মূল বিষয় হল পক্ষপাত এবং ভেরিয়েন্সের মধ্যে ভারসাম্য - আবর্জনা ডেটা পক্ষপাত তৈরি করে, সমজাতীয় ডেটা ভেরিয়েন্সের দিকে পরিচালিত করে।

গাণিতিক দৃষ্টিকোণের পরিবর্তন

আরেকটি লক্ষণীয় প্রবণতা হল: ML এর গাণিতিক ভিত্তির উপলব্ধি গভীর হচ্ছে।

একজন গবেষক উল্লেখ করেছেন:

"The most powerful tool in your mathematical toolkit isn't a formula, it's a change of perspective... We're taught to see matrices as 'grids of numbers.' But to a machine learning engineer, a matrix is often secretly a graph."

এই দৃষ্টিকোণ পরিবর্তন - "সংখ্যার গ্রিড" থেকে "গ্রাফ কাঠামো" - প্রকাশ করে যে ML একটি জ্ঞানীয় আপগ্রেডের মধ্য দিয়ে যাচ্ছে। যখন আরও বেশি সংখ্যক মানুষ বুঝতে পারবে যে কীভাবে লিনিয়ার অ্যালজেবরা, সম্ভাব্যতা তত্ত্ব, অপটিমাইজেশন তত্ত্ব এই "ম্যাজিক" সমর্থন করে, তখন শিল্পটি ব্ল্যাক বক্স পূজা থেকে হোয়াইট বক্স বোঝার দিকে যাবে।

পরিবেশগত খরচ সমস্যা

উপেক্ষা করা যায় না, ML এর সমৃদ্ধি বাস্তব পরিবেশগত মূল্যের সাথে আসে:

• ৭৪% প্রযুক্তি কোম্পানির "AI চালিত জলবায়ু" দাবির প্রমাণ নেই
• Google এর নির্গমন ২০১৯-২০২৩ সালে ৪৮% বেড়েছে
• Microsoft এর নির্গমন ২০২০ সাল থেকে ২৯% বেড়েছে

এই সংখ্যাগুলো ডেটা সেন্টার সম্প্রসারণ থেকে এসেছে, এবং ডেটা সেন্টার সম্প্রসারণের চালিকাশক্তি হল ML প্রশিক্ষণ এবং অনুমান। এটি এমন একটি বক্ররেখা নয় যা অসীমভাবে প্রসারিত করা যেতে পারে।

অনুশীলনকারীদের জন্য শিক্ষা

আপনি যদি ML ক্ষেত্রে প্রবেশ করেন, তবে তিনটি দিকের দিকে মনোযোগ দেওয়া উচিত:

1. ডেটা ইঞ্জিনিয়ারিং: মডেল আর্কিটেকচারের চেয়ে প্রতিস্থাপন করা কঠিন
2. ডোমেইন জ্ঞান: কী ডেটা মূল্যবান তা জানা, কীভাবে প্রশিক্ষণ দিতে হয় তা জানার চেয়ে বেশি গুরুত্বপূর্ণ
3. সিস্টেম চিন্তা: ML একটি বিচ্ছিন্ন মডেল নয়, এটি ডেটা-মডেল-পণ্য-ব্যবহারকারীর একটি বদ্ধ লুপ

যেমন কেউ বলেছেন: নিজেকে শেখার যন্ত্রে পরিণত করা জীবনের সবচেয়ে গুরুত্বপূর্ণ মেটা-স্কিল।

তবে আরও সঠিক কথা হল: একজন ডেটা বুঝতে পারা শেখার যন্ত্র হয়ে ওঠাই এই যুগের আসল প্রতিযোগিতা।