मशीन लर्निंगचा खराखुरा अभेद्य किल्ला

जेव्हा आपण AI स्पर्धेबद्दल बोलतो, तेव्हा सामान्यतः मॉडेल आर्किटेक्चर, पॅरामीटर स्केल आणि संगणकीय शक्ती यावर लक्ष केंद्रित करतो. पण हे खरे अडथळे नाहीत.

अल्गोरिदमची नक्कल करता येते. संगणकीय शक्ती भाड्याने घेता येते. पण मालकीच्या वास्तविक जगातील डेटा पाइपलाइन? तोच खरा अभेद्य किल्ला आहे.

ML स्पर्धेचे तीन टप्पे

गेल्या दशकात, मशीन लर्निंगच्या स्पर्धेच्या केंद्रस्थानाचे तीन वेळा स्थलांतर झाले आहे:

पहिला टप्पा: अल्गोरिदम स्पर्धा (२०१२-२०१७)

• कोणाकडे चांगले मॉडेल आर्किटेक्चर आहे
• CNN, RNN, Transformer चे निर्माते आघाडीवर होते
• पण शोधनिबंध प्रकाशित झाल्यानंतर, ते सर्वांना वापरता आले

दुसरा टप्पा: संगणकीय शक्ती स्पर्धा (२०१७-२०२२)

• कोणाकडे जास्त GPU आहेत
• GPT-3 ला प्रशिक्षित करण्यासाठी 1000+ V100 ची आवश्यकता आहे
• पण क्लाउड सेवांमुळे संगणकीय शक्ती खरेदी करण्यायोग्य वस्तू बनली

तिसरा टप्पा: डेटा स्पर्धा (२०२२-आता)

• कोणाकडे अद्वितीय डेटा फ्लायव्हील आहे
• सिंथेटिक डेटा वास्तविक जगातील डेटाला पर्याय नाही
• हाच खरा अपरिवर्तनीय अडथळा आहे

डेटा हा शेवटचा अभेद्य किल्ला का आहे?

तीन कारणे:

1. दुर्मिळता: उच्च-गुणवत्तेचा, चांगल्या प्रकारे लेबल केलेला वास्तविक डेटा नैसर्गिकरित्या दुर्मिळ आहे.
2. अव्यवहार्यता: पैसे देण्यास तयार असले तरी, प्रतिस्पर्धकांच्या डेटा पाइपलाइन खरेदी करता येत नाहीत.
3. चक्रवाढ परिणाम: चांगला डेटा → चांगले उत्पादन → अधिक वापरकर्ते → अधिक डेटा

एका ML व्यावसायिकाने X वर लिहिले:

"Algorithms can be replicated. Compute can be rented. But proprietary real-world data pipelines? That's a moat."

यामुळे समस्येचा गाभा स्पष्ट होतो. जेव्हा तुम्ही OpenAI प्रकाशकांशी विशेष करार करताना पाहता, Google Reddit डेटा ॲक्सेस अधिकार खरेदी करण्यासाठी अब्जावधी खर्च करतो, तेव्हा ते सामग्री विकत घेत नाहीत - ते प्रशिक्षण डेटाचा अभेद्य किल्ला विकत घेत आहेत.

बायस-व्हेरियन्स ट्रेडऑफची पुनरावृत्ती

विशेष म्हणजे, जेव्हा आपण डेटा गुणवत्तेबद्दल चर्चा करतो, तेव्हा मशीन लर्निंगची सर्वात क्लासिक संकल्पना परत येत आहे: बायस-व्हेरियन्स ट्रेडऑफ.

"Machine Learning in a nutshell: minimize error to achieve optimal bias-variance tradeoff. Higher the bias, more the error between predictions and ground truth - i.e. underfitting. Higher the variance, more the error from small fluctuations in the training set - i.e. overfitting." — @bindureddy

LLM च्या युगात, आम्हाला एकदा वाटले की ही संकल्पना कालबाह्य झाली आहे. पण हे दिसून आले की डेटा गुणवत्तेच्या समस्यांचा मूळ गाभा अजूनही बायस आणि व्हेरियन्सचा समतोल आहे - कचरा डेटा बायस निर्माण करतो, तर एकसारखा डेटा व्हेरियन्सला कारणीभूत ठरतो.

गणिताच्या दृष्टिकोनातील बदल

लक्ष देण्यासारखा आणखी एक ट्रेंड म्हणजे: ML च्या गणितीय आधाराची समज अधिक सखोल होत आहे.

एका संशोधकाने निदर्शनास आणून दिले:

"The most powerful tool in your mathematical toolkit isn't a formula, it's a change of perspective... We're taught to see matrices as 'grids of numbers.' But to a machine learning engineer, a matrix is often secretly a graph."

हा दृष्टिकोन बदल - "संख्यांच्या ग्रिड" पासून "आलेख रचना" पर्यंत - ML मध्ये होत असलेली ज्ञानात्मक सुधारणा दर्शवितो. जेव्हा अधिकाधिक लोकांना हे समजेल की रेषीय बीजगणित, संभाव्यता सिद्धांत आणि ऑप्टिमायझेशन सिद्धांत या 'जादुई' गोष्टींना कसे समर्थन देतात, तेव्हा उद्योग ब्लॅक बॉक्स पूजेकडून व्हाईट बॉक्स समजाकडे जाईल.

पर्यावरणीय खर्च समस्या

हे दुर्लक्षित करता कामा नये की, ML च्या भरभराटीसोबत वास्तविक पर्यावरणीय किंमत देखील आहे:

• 74% टेक कंपन्यांचे "AI-आधारित हवामान" दावे पुराव्याशिवाय आहेत.
• Google च्या उत्सर्जनात 2019-2023 मध्ये 48% वाढ झाली आहे.
• Microsoft च्या उत्सर्जनात 2020 पासून 29% वाढ झाली आहे.

ही आकडेवारी डेटा सेंटरच्या विस्तारामुळे आहे आणि डेटा सेंटरच्या विस्ताराला ML प्रशिक्षण आणि अनुमान चालना देतात. हा वक्र अनिश्चित काळासाठी वाढवता येणार नाही.

व्यावसायिकांसाठी सूचना

जर तुम्ही ML क्षेत्रात प्रवेश करत असाल, तर लक्ष देण्यासाठी तीन दिशा आहेत:

1. डेटा अभियांत्रिकी: मॉडेल आर्किटेक्चरपेक्षा बदलणे अधिक कठीण आहे.
2. डोमेन ज्ञान: कोणता डेटा मौल्यवान आहे हे जाणून घेणे, प्रशिक्षण कसे द्यावे हे जाणून घेण्यापेक्षा महत्त्वाचे आहे.
3. सिस्टम विचार: ML हे एक स्वतंत्र मॉडेल नाही, तर डेटा-मॉडेल-उत्पादन-वापरकर्ता यांचा बंदिस्त चक्र आहे.

जसे कोणीतरी म्हटले आहे: स्वतः एक शिक्षण मशीन बनणे हे जीवनातील सर्वात महत्वाचे मेटा-कौशल्य आहे.

पण अधिक अचूक विधान असे आहे की: डेटा समजून घेणारी शिक्षण मशीन बनणे ही या युगातील खरी स्पर्धात्मकता आहे.