मशीन लर्निंग की असली खाई

जब हम AI प्रतिस्पर्धा के बारे में बात करते हैं, तो आमतौर पर मॉडल आर्किटेक्चर, पैरामीटर स्केल और कंप्यूटिंग पावर निवेश पर ध्यान केंद्रित करते हैं। लेकिन ये असली बाधाएं नहीं हैं।

एल्गोरिदम को कॉपी किया जा सकता है। कंप्यूटिंग पावर को किराए पर लिया जा सकता है। लेकिन मालिकाना वास्तविक दुनिया डेटा पाइपलाइन? वही खाई है।

ML प्रतिस्पर्धा के तीन चरण

पिछले दशक में, मशीन लर्निंग की प्रतिस्पर्धा का फोकस तीन बार स्थानांतरित हुआ है:

पहला चरण: एल्गोरिथम प्रतिस्पर्धा (2012-2017)

• किसके पास बेहतर मॉडल आर्किटेक्चर है
• CNN, RNN, Transformer के आविष्कारकों को लाभ मिला
• लेकिन पेपर प्रकाशित होने के बाद, हर कोई इसका उपयोग कर सकता है

दूसरा चरण: कंप्यूटिंग पावर प्रतिस्पर्धा (2017-2022)

• किसके पास अधिक GPU हैं
• GPT-3 को प्रशिक्षित करने के लिए 1000+ V100 की आवश्यकता है
• लेकिन क्लाउड सेवाएं कंप्यूटिंग पावर को एक खरीदने योग्य वस्तु बनाती हैं

तीसरा चरण: डेटा प्रतिस्पर्धा (2022-वर्तमान)

• किसके पास अद्वितीय डेटा फ्लाईव्हील है
• सिंथेटिक डेटा वास्तविक दुनिया के डेटा को प्रतिस्थापित नहीं कर सकता
• यह वह बाधा है जिसे दोहराया नहीं जा सकता

डेटा अंतिम खाई क्यों है?

तीन कारण:

1. दुर्लभता: उच्च गुणवत्ता वाला, अच्छी तरह से लेबल वाला वास्तविक डेटा स्वाभाविक रूप से दुर्लभ है
2. गैर-व्यापारिकता: भले ही आप भुगतान करने को तैयार हों, आप प्रतिस्पर्धियों की डेटा पाइपलाइन नहीं खरीद सकते
3. चक्रवृद्धि प्रभाव: बेहतर डेटा → बेहतर उत्पाद → अधिक उपयोगकर्ता → अधिक डेटा

एक ML व्यवसायी ने X पर लिखा:

"Algorithms can be replicated. Compute can be rented. But proprietary real-world data pipelines? That's a moat."

यह समस्या के सार को पकड़ता है। जब आप OpenAI को प्रकाशकों के साथ विशेष समझौते पर हस्ताक्षर करते हुए देखते हैं, तो Google Reddit डेटा एक्सेस खरीदने के लिए अरबों खर्च करता है, तो वे सामग्री नहीं खरीद रहे हैं - वे प्रशिक्षण डेटा की खाई खरीद रहे हैं।

पूर्वाग्रह-विचरण ट्रेडऑफ़ की वापसी

दिलचस्प बात यह है कि जब हम डेटा गुणवत्ता पर चर्चा करते हैं, तो मशीन लर्निंग की सबसे क्लासिक अवधारणा वापस आ रही है: पूर्वाग्रह-विचरण ट्रेडऑफ़।

"Machine Learning in a nutshell: minimize error to achieve optimal bias-variance tradeoff. Higher the bias, more the error between predictions and ground truth - i.e. underfitting. Higher the variance, more the error from small fluctuations in the training set - i.e. overfitting." — @bindureddy

LLM युग में, हमने एक बार सोचा था कि यह अवधारणा पुरानी हो गई है। लेकिन यह पता चला है कि डेटा गुणवत्ता की समस्या का सार अभी भी पूर्वाग्रह और विचरण का संतुलन है - जंक डेटा पूर्वाग्रह पैदा करता है, और सजातीय डेटा विचरण का कारण बनता है।

गणितीय परिप्रेक्ष्य में बदलाव

एक और प्रवृत्ति जिस पर ध्यान देने योग्य है: ML के गणितीय आधार की समझ गहरी हो रही है।

एक शोधकर्ता ने बताया:

"The most powerful tool in your mathematical toolkit isn't a formula, it's a change of perspective... We're taught to see matrices as 'grids of numbers.' But to a machine learning engineer, a matrix is often secretly a graph."

यह परिप्रेक्ष्य परिवर्तन - "संख्याओं के ग्रिड" से "ग्राफ संरचना" तक - ML में हो रहे संज्ञानात्मक उन्नयन को दर्शाता है। जब अधिक से अधिक लोग समझते हैं कि रैखिक बीजगणित, संभाव्यता सिद्धांत और अनुकूलन सिद्धांत इन "जादू" का समर्थन कैसे करते हैं, तो उद्योग ब्लैक बॉक्स पूजा से व्हाइट बॉक्स समझ की ओर बढ़ेगा।

पर्यावरणीय लागत मुद्दे

इस बात को नजरअंदाज नहीं किया जा सकता है कि ML की समृद्धि वास्तविक पर्यावरणीय लागत के साथ है:

• 74% तकनीकी कंपनियों के "AI संचालित जलवायु" दावों में सबूतों की कमी है
• Google उत्सर्जन 2019-2023 में 48% बढ़ा
• Microsoft उत्सर्जन 2020 से 29% बढ़ा

ये संख्या डेटा सेंटर विस्तार से आती है, और डेटा सेंटर विस्तार का चालक ML प्रशिक्षण और अनुमान है। यह एक ऐसा वक्र नहीं है जिसे अनिश्चित काल तक बढ़ाया जा सकता है।

चिकित्सकों के लिए निहितार्थ

यदि आप ML क्षेत्र में प्रवेश कर रहे हैं, तो तीन दिशाएँ हैं जिन पर ध्यान देने योग्य है:

1. डेटा इंजीनियरिंग: मॉडल आर्किटेक्चर की तुलना में प्रतिस्थापित करना अधिक कठिन है
2. डोमेन ज्ञान: यह जानना कि कौन सा डेटा मूल्यवान है, यह जानने से ज्यादा महत्वपूर्ण है कि कैसे प्रशिक्षित किया जाए
3. सिस्टम सोच: ML एक अलग मॉडल नहीं है, बल्कि डेटा-मॉडल-उत्पाद-उपयोगकर्ता का एक बंद लूप है

जैसा कि किसी ने कहा: स्वयं एक सीखने की मशीन बनना जीवन का सबसे महत्वपूर्ण मेटा-कौशल है।

लेकिन अधिक सटीक रूप से कहें तो: डेटा को समझने वाली सीखने की मशीन बनना ही इस युग में वास्तविक प्रतिस्पर्धा है।