મશીન લર્નિંગનો સાચો ગઢ

જ્યારે આપણે AI સ્પર્ધા વિશે વાત કરીએ છીએ, ત્યારે સામાન્ય રીતે મોડેલ આર્કિટેક્ચર, પરિમાણ સ્કેલ અને ગણતરીના ઇનપુટ પર ધ્યાન કેન્દ્રિત કરીએ છીએ. પરંતુ આમાંથી કોઈ પણ વાસ્તવિક અવરોધ નથી.

એલ્ગોરિધમની નકલ કરી શકાય છે. ગણતરી ભાડે આપી શકાય છે. પરંતુ માલિકીની વાસ્તવિક દુનિયાની ડેટા પાઇપલાઇન્સ? તે જ ગઢ છે.

ML સ્પર્ધાના ત્રણ તબક્કા

પાછલા દાયકામાં, મશીન લર્નિંગની સ્પર્ધાનું ધ્યાન ત્રણ વખત બદલાયું છે:

પ્રથમ તબક્કો: એલ્ગોરિધમ સ્પર્ધા (2012-2017)

• કોની પાસે વધુ સારું મોડેલ આર્કિટેક્ચર છે
• CNN, RNN, Transformerના શોધકોને ફાયદો થયો
• પરંતુ પેપર પ્રકાશિત થયા પછી, દરેક તેનો ઉપયોગ કરી શકે છે

બીજો તબક્કો: ગણતરી સ્પર્ધા (2017-2022)

• કોની પાસે વધુ GPU છે
• GPT-3ને તાલીમ આપવા માટે 1000+ V100ની જરૂર છે
• પરંતુ ક્લાઉડ સેવાઓએ ગણતરીને ખરીદી શકાય તેવી વસ્તુ બનાવી દીધી

ત્રીજો તબક્કો: ડેટા સ્પર્ધા (2022-હાલ)

• કોની પાસે અનન્ય ડેટા ફ્લાયવ્હીલ છે
• સિન્થેટિક ડેટા વાસ્તવિક દુનિયાના ડેટાને બદલી શકતો નથી
• આ જ નકલ ન કરી શકાય તેવો અવરોધ છે

ડેટા શા માટે અંતિમ ગઢ છે?

ત્રણ કારણો:

1. અછત: ઉચ્ચ-ગુણવત્તાવાળો, સારી રીતે લેબલવાળો વાસ્તવિક ડેટા કુદરતી રીતે દુર્લભ છે
2. બિન-વેપારીતા: ભલે તમે ચૂકવણી કરવા તૈયાર હોવ, તમે હરીફની ડેટા પાઇપલાઇન ખરીદી શકતા નથી
3. ચક્રવૃદ્ધિ અસર: વધુ સારો ડેટા → વધુ સારું ઉત્પાદન → વધુ વપરાશકર્તાઓ → વધુ ડેટા

એક ML પ્રેક્ટિશનરે X પર લખ્યું:

"Algorithms can be replicated. Compute can be rented. But proprietary real-world data pipelines? That's a moat."

આ સમસ્યાનો સાર પકડે છે. જ્યારે તમે OpenAIને પ્રકાશકો સાથે વિશિષ્ટ કરારો પર હસ્તાક્ષર કરતા જુઓ છો, Google Reddit ડેટા એક્સેસ ખરીદવા માટે અબજો ખર્ચે છે, ત્યારે તેઓ સામગ્રી ખરીદી રહ્યા નથી - તેઓ તાલીમ ડેટાનો ગઢ ખરીદી રહ્યા છે.

પૂર્વગ્રહ-વિચલન ટ્રેડઓફનું પુનરાગમન

રસપ્રદ વાત એ છે કે, જ્યારે આપણે ડેટા ગુણવત્તાની ચર્ચા કરીએ છીએ, ત્યારે મશીન લર્નિંગની સૌથી ક્લાસિક કલ્પનાઓ પાછી આવી રહી છે: પૂર્વગ્રહ-વિચલન ટ્રેડઓફ.

"Machine Learning in a nutshell: minimize error to achieve optimal bias-variance tradeoff. Higher the bias, more the error between predictions and ground truth - i.e. underfitting. Higher the variance, more the error from small fluctuations in the training set - i.e. overfitting." — @bindureddy

LLM યુગમાં, આપણે એક સમયે વિચાર્યું હતું કે આ કલ્પના જૂની થઈ ગઈ છે. પરંતુ તે તારણ આપે છે કે ડેટા ગુણવત્તાની સમસ્યાનો સાર હજી પણ પૂર્વગ્રહ અને વિચલનનું સંતુલન છે - કચરો ડેટા પૂર્વગ્રહ પેદા કરે છે, અને સજાતીય ડેટા વિચલન તરફ દોરી જાય છે.

ગાણિતિક પરિપ્રેક્ષ્યમાં પરિવર્તન

ધ્યાનમાં લેવા જેવો બીજો ટ્રેન્ડ એ છે કે MLના ગાણિતિક પાયાની સમજણ વધુ ઊંડી થઈ રહી છે.

એક સંશોધકે જણાવ્યું:

"The most powerful tool in your mathematical toolkit isn't a formula, it's a change of perspective... We're taught to see matrices as 'grids of numbers.' But to a machine learning engineer, a matrix is often secretly a graph."

આ પરિપ્રેક્ષ્ય પરિવર્તન - "સંખ્યાઓના ગ્રીડ" થી "ગ્રાફ સ્ટ્રક્ચર" - દર્શાવે છે કે ML જ્ઞાનાત્મક અપગ્રેડમાંથી પસાર થઈ રહ્યું છે. જ્યારે વધુને વધુ લોકો સમજે છે કે રેખીય બીજગણિત, સંભાવના સિદ્ધાંત અને ઑપ્ટિમાઇઝેશન સિદ્ધાંત આ "જાદુ"ને કેવી રીતે સમર્થન આપે છે, ત્યારે ઉદ્યોગ બ્લેક બોક્સ પૂજાથી વ્હાઇટ બોક્સ સમજણ તરફ આગળ વધશે.

પર્યાવરણીય ખર્ચની સમસ્યા

અવગણના ન કરી શકાય તેવું એ છે કે MLની સમૃદ્ધિ વાસ્તવિક પર્યાવરણીય કિંમત સાથે આવે છે:

• 74% ટેક્નોલોજી કંપનીઓના "AI-સંચાલિત આબોહવા" નિવેદનોમાં પુરાવાનો અભાવ છે
• Googleના ઉત્સર્જનમાં 2019-2023 દરમિયાન 48%નો વધારો થયો છે
• Microsoftના ઉત્સર્જનમાં 2020થી 29%નો વધારો થયો છે

આ આંકડા ડેટા સેન્ટરના વિસ્તરણમાંથી આવે છે, અને ડેટા સેન્ટરના વિસ્તરણનું મુખ્ય કારણ ML તાલીમ અને અનુમાન છે. આ એક વળાંક નથી જેને અનંતપણે બહાર કાઢી શકાય.

પ્રેક્ટિશનર્સ માટે સૂચિતાર્થો

જો તમે ML ક્ષેત્રમાં પ્રવેશી રહ્યા છો, તો ત્રણ દિશાઓ ધ્યાનમાં લેવા જેવી છે:

1. ડેટા એન્જિનિયરિંગ: મોડેલ આર્કિટેક્ચર કરતાં બદલવું વધુ મુશ્કેલ
2. ડોમેન જ્ઞાન: કયો ડેટા મૂલ્યવાન છે તે જાણવું, તાલીમ કેવી રીતે આપવી તે જાણવા કરતાં વધુ મહત્વપૂર્ણ છે
3. સિસ્ટમ વિચારસરણી: ML એક અલગ મોડેલ નથી, પરંતુ ડેટા-મોડેલ-ઉત્પાદન-વપરાશકર્તાનું બંધ લૂપ છે

જેમ કોઈએ કહ્યું: શીખવાની મશીન પોતે બનવું એ જીવનની સૌથી મહત્વપૂર્ણ મેટા-સ્કિલ છે.

પરંતુ વધુ સચોટ કહેવું હોય તો: ડેટાને સમજતું શીખવાનું મશીન બનવું એ આ યુગની સાચી સ્પર્ધાત્મકતા છે.