മെഷീൻ ലേണിംഗിൻ്റെ യഥാർത്ഥ കോട്ട

നമ്മൾ AI മത്സരത്തെക്കുറിച്ച് സംസാരിക്കുമ്പോൾ, മോഡൽ ആർക്കിടെക്ചറുകൾ, പാരാമീറ്റർ സ്കെയിലുകൾ, കമ്പ്യൂട്ടിംഗ് പവർ ഇൻപുട്ടുകൾ എന്നിവയിൽ സാധാരണയായി ശ്രദ്ധ കേന്ദ്രീകരിക്കുന്നു. എന്നാൽ ഇവയൊന്നും യഥാർത്ഥത്തിലുള്ള പ്രതിബന്ധങ്ങളല്ല.

അൽഗോരിതങ്ങൾ പകർത്താൻ കഴിയും. കമ്പ്യൂട്ടിംഗ് പവർ വാടകയ്ക്ക് എടുക്കാൻ കഴിയും. എന്നാൽ ഒരു പ്രത്യേക റിയൽ-വേൾഡ് ഡാറ്റാ പൈപ്പ്ലൈൻ? അതാണ് കോട്ട.

ML മത്സരത്തിൻ്റെ മൂന്ന് ഘട്ടങ്ങൾ

കഴിഞ്ഞ ദശകത്തിൽ, മെഷീൻ ലേണിംഗ് മത്സരത്തിൻ്റെ ഫോക്കസ് മൂന്ന് തവണ മാറിയിട്ടുണ്ട്:

ഒന്നാം ഘട്ടം: അൽഗോരിതം മത്സരം (2012-2017)

• മികച്ച മോഡൽ ആർക്കിടെക്ചർ ആർക്കാണ് ഉള്ളത്
• CNN, RNN, Transformer എന്നിവയുടെ കണ്ടുപിടുത്തക്കാർക്ക് മുൻഗണന ലഭിച്ചു
• എന്നാൽ പേപ്പർ പ്രസിദ്ധീകരിച്ച ശേഷം, എല്ലാവർക്കും ഇത് ഉപയോഗിക്കാൻ കഴിയും

രണ്ടാം ഘട്ടം: കമ്പ്യൂട്ടിംഗ് പവർ മത്സരം (2017-2022)

• കൂടുതൽ GPU ആർക്കാണ് ഉള്ളത്
• GPT-3 പരിശീലിപ്പിക്കാൻ 1000+ V100 ആവശ്യമാണ്
• എന്നാൽ ക്ലൗഡ് സേവനങ്ങൾ കമ്പ്യൂട്ടിംഗ് പവറിനെ വാങ്ങാൻ കഴിയുന്ന ഉൽപ്പന്നമാക്കി മാറ്റി

മൂന്നാം ഘട്ടം: ഡാറ്റാ മത്സരം (2022-ഇപ്പോൾ)

• അതുല്യമായ ഡാറ്റാ ഫ്ലൈവീൽ ആർക്കാണ് ഉള്ളത്
• സിന്തറ്റിക് ഡാറ്റയ്ക്ക് യഥാർത്ഥ ലോക ഡാറ്റയെ മാറ്റിസ്ഥാപിക്കാൻ കഴിയില്ല
• ഇത് പകർത്താൻ കഴിയാത്ത പ്രതിബന്ധമാണ്

എന്തുകൊണ്ട് ഡാറ്റ ഒരു അവസാന കോട്ടയാണ്?

മൂന്ന് കാരണങ്ങൾ:

1. ക്ഷാമം: ഉയർന്ന നിലവാരമുള്ളതും നന്നായി ലേബൽ ചെയ്തതുമായ യഥാർത്ഥ ഡാറ്റ സ്വാഭാവികമായി ക്ഷാമമാണ്
2. കൈമാറ്റം ചെയ്യാനാവില്ല: പണം നൽകാൻ തയ്യാറാണെങ്കിൽ പോലും, എതിരാളിയുടെ ഡാറ്റാ പൈപ്പ്ലൈൻ വാങ്ങാൻ കഴിയില്ല
3. കൂട്ടുപലിശ പ്രഭാവം: മികച്ച ഡാറ്റ → മികച്ച ഉൽപ്പന്നം → കൂടുതൽ ഉപയോക്താക്കൾ → കൂടുതൽ ഡാറ്റ

ഒരു ML പ്രാക്ടീഷണർ X-ൽ എഴുതി:

"Algorithms can be replicated. Compute can be rented. But proprietary real-world data pipelines? That's a moat."

ഇത് പ്രശ്നത്തിൻ്റെ കാതൽ വ്യക്തമാക്കുന്നു. OpenAI പ്രസാധകരുമായി എക്സ്ക്ലൂസീവ് കരാറുകളിൽ ഒപ്പുവെക്കുന്നതും Google Reddit ഡാറ്റ ആക്സസ് ചെയ്യാൻ ശതകോടികൾ ചിലവഴിക്കുന്നതും നിങ്ങൾ കാണുമ്പോൾ, അവർ വാങ്ങുന്നത് ഉള്ളടക്കമല്ല - അവർ വാങ്ങുന്നത് പരിശീലന ഡാറ്റയുടെ കോട്ടയാണ്.

പക്ഷപാതം-വേരിയൻസ് ട്രേഡ്ഓഫിൻ്റെ തിരിച്ചുവരവ്

രസകരമെന്നു പറയട്ടെ, ഡാറ്റാ ഗുണനിലവാരത്തെക്കുറിച്ച് നമ്മൾ സംസാരിക്കുമ്പോൾ, മെഷീൻ ലേണിംഗിലെ ഏറ്റവും ക്ലാസിക് ആശയം തിരിച്ചുവരുന്നു: പക്ഷപാതം-വേരിയൻസ് ട്രേഡ്ഓഫ്.

"Machine Learning in a nutshell: minimize error to achieve optimal bias-variance tradeoff. Higher the bias, more the error between predictions and ground truth - i.e. underfitting. Higher the variance, more the error from small fluctuations in the training set - i.e. overfitting." — @bindureddy

LLM യുഗത്തിൽ, ഈ ആശയം കാലഹരണപ്പെട്ടതാണെന്ന് നമ്മൾ കരുതി. എന്നാൽ ഡാറ്റാ ഗുണനിലവാര പ്രശ്നങ്ങളുടെ കാതൽ ഇപ്പോഴും പക്ഷപാതവും വ്യതിയാനവും തമ്മിലുള്ള സന്തുലിതാവസ്ഥയാണെന്ന് തെളിഞ്ഞു - മോശം ഡാറ്റ പക്ഷപാതം ഉണ്ടാക്കുന്നു, ഏകതാനമായ ഡാറ്റ വ്യതിയാനത്തിന് കാരണമാകുന്നു.

ഗണിതശാസ്ത്രപരമായ വീക്ഷണത്തിലെ മാറ്റം

ശ്രദ്ധിക്കേണ്ട മറ്റൊരു പ്രവണത ML ഗണിതശാസ്ത്രപരമായ അടിത്തറയെക്കുറിച്ചുള്ള ധാരണ ആഴത്തിലാക്കുന്നു എന്നതാണ്.

ഒരു ഗവേഷകൻ ചൂണ്ടിക്കാട്ടി:

"The most powerful tool in your mathematical toolkit isn't a formula, it's a change of perspective... We're taught to see matrices as 'grids of numbers.' But to a machine learning engineer, a matrix is often secretly a graph."

ഈ വീക്ഷണ മാറ്റം - "സംഖ്യാ ഗ്രിഡിൽ" നിന്ന് "ഗ്രാഫ് ഘടനയിലേക്ക്" - ML ഒരു വൈജ്ഞാനിക നവീകരണം അനുഭവിക്കുന്നു എന്ന് വെളിപ്പെടുത്തുന്നു. രേഖീയ বীজগণিতം, संभाव്യതാ സിദ്ധാന്തം, ഒപ്റ്റിമൈസേഷൻ സിദ്ധാന്തം എന്നിവ ഈ "മാജിക്കിനെ" എങ്ങനെ പിന്തുണയ്ക്കുന്നു എന്ന് കൂടുതൽ ആളുകൾ മനസ്സിലാക്കുമ്പോൾ, വ്യവസായം ബ്ലാക്ക് ബോക്സ് ആരാധനയിൽ നിന്ന് വൈറ്റ് ബോക്സ് ധാരണയിലേക്ക് മാറും.

പാരിസ്ഥിതിക ചിലവ് പ്രശ്നം

ML-ൻ്റെ അഭിവൃദ്ധി യഥാർത്ഥ പാരിസ്ഥിതിക ചിലവുകളോടൊപ്പമാണെന്നത് അവഗണിക്കാനാവില്ല:

• 74% ടെക് കമ്പനികളുടെ "AI കാലാവസ്ഥയെ സഹായിക്കുന്നു" എന്ന പ്രസ്താവനയ്ക്ക് തെളിവുകളില്ല
• Google-ൻ്റെ ഉദ്‌വമനം 2019-2023 കാലയളവിൽ 48% വർധിച്ചു
• Microsoft-ൻ്റെ ഉദ്‌വമനം 2020 മുതൽ 29% വർധിച്ചു

ഈ കണക്കുകൾ ഡാറ്റാ സെൻ്ററുകളുടെ വികാസത്തിൽ നിന്നാണ് വരുന്നത്, ഡാറ്റാ സെൻ്ററുകളുടെ വികാസത്തിന് പിന്നിലെ പ്രേരകശക്തി ML പരിശീലനവും നിഗമനവുമാണ്. ഇതൊരു പരിധിയില്ലാതെ മുന്നോട്ട് കൊണ്ടുപോകാൻ കഴിയുന്ന ഒരു വളർച്ചയല്ല.

പ്രാക്ടീഷണർമാർക്കുള്ള സൂചനകൾ

നിങ്ങൾ ML രംഗത്തേക്ക് പ്രവേശിക്കുകയാണെങ്കിൽ, ശ്രദ്ധിക്കേണ്ട മൂന്ന് കാര്യങ്ങളുണ്ട്:

1. ഡാറ്റാ എഞ്ചിനീയറിംഗ്: മോഡൽ ആർക്കിടെക്ചറിനേക്കാൾ മാറ്റാൻ പ്രയാസമാണ്
2. ഡൊമെയ്ൻ പരിജ്ഞാനം: എന്ത് ഡാറ്റയാണ് മൂല്യവത്തായതെന്ന് അറിയുന്നത്, എങ്ങനെ പരിശീലിപ്പിക്കാമെന്ന് അറിയുന്നതിനേക്കാൾ പ്രധാനമാണ്
3. സിസ്റ്റം ചിന്ത: ML ഒരു ഒറ്റപ്പെട്ട മോഡലല്ല, മറിച്ച് ഡാറ്റ-മോഡൽ-ഉൽപ്പന്നം-ഉപയോക്താവ് എന്നിങ്ങനെയുള്ള ഒരു ക്ലോസ്ഡ് ലൂപ്പാണ്

ഒരാൾ പറഞ്ഞതുപോലെ: ഒരു പഠന യന്ത്രമായി മാറുക എന്നത് ജീവിതത്തിലെ ഏറ്റവും പ്രധാനപ്പെട്ട മെറ്റാ-സ്കിൽ ആണ്.

എന്നാൽ കൂടുതൽ കൃത്യമായി പറഞ്ഞാൽ: ഡാറ്റ മനസ്സിലാക്കുന്ന ഒരു പഠന യന്ത്രമായി മാറുക എന്നതാണ് ഈ കാലഘട്ടത്തിലെ യഥാർത്ഥ മത്സരക്ഷമത.