Prava zaštitna ograda mašinskog učenja

Kada govorimo o AI konkurenciji, obično se fokusiramo na arhitekturu modela, veličinu parametara i ulaganje u računarsku snagu. Ali ništa od toga nije prava barijera.

Algoritmi se mogu kopirati. Računarska snaga se može iznajmiti. Ali vlasnički cjevovodi podataka iz stvarnog svijeta? To je zaštitna ograda.

Tri faze ML konkurencije

U proteklih deset godina, fokus konkurencije u mašinskom učenju je prošao kroz tri migracije:

Prva faza: Konkurencija algoritama (2012-2017)

• Ko ima bolju arhitekturu modela
• Izumitelji CNN-a, RNN-a i Transformera su stekli prednost
• Ali nakon objavljivanja rada, svi ga mogu koristiti

Druga faza: Konkurencija računarske snage (2017-2022)

• Ko ima više GPU-ova
• Za treniranje GPT-3 potrebno je 1000+ V100
• Ali usluge u oblaku čine računarsku snagu robom koja se može kupiti

Treća faza: Konkurencija podataka (2022-danas)

• Ko ima jedinstveni krug podataka
• Sintetički podaci ne mogu zamijeniti podatke iz stvarnog svijeta
• Ovo je neponovljiva barijera

Zašto su podaci posljednja zaštitna ograda?

Tri razloga:

1. Rijetkost: Visokokvalitetni, dobro označeni stvarni podaci su prirodno rijetki
2. Neprenosivost: Čak i ako ste voljni platiti, ne možete kupiti cjevovod podataka od konkurenata
3. Efekat složenosti: Bolji podaci → bolji proizvodi → više korisnika → više podataka

ML praktičar je napisao na X-u:

"Algorithms can be replicated. Compute can be rented. But proprietary real-world data pipelines? That's a moat."

Ovo pogađa suštinu problema. Kada vidite da OpenAI potpisuje ekskluzivne ugovore s izdavačima, a Google troši milijarde na kupovinu pristupa podacima Reddita, oni ne kupuju sadržaj - oni kupuju zaštitnu ogradu podataka za obuku.

Povratak kompromisa između pristranosti i varijanse

Zanimljivo je da se, kada razgovaramo o kvaliteti podataka, vraća najklasičniji koncept mašinskog učenja: kompromis između pristranosti i varijanse.

"Machine Learning in a nutshell: minimize error to achieve optimal bias-variance tradeoff. Higher the bias, more the error between predictions and ground truth - i.e. underfitting. Higher the variance, more the error from small fluctuations in the training set - i.e. overfitting." — @bindureddy

U LLM eri, jednom smo mislili da je ovaj koncept zastario. Ali ispostavilo se da je suština problema kvalitete podataka i dalje ravnoteža između pristranosti i varijanse - smeće podaci stvaraju pristranost, a homogeni podaci dovode do varijanse.

Promjena matematičke perspektive

Još jedan trend na koji treba obratiti pažnju je: produbljivanje razumijevanja matematičkih osnova ML-a.

Jedan istraživač je istakao:

"The most powerful tool in your mathematical toolkit isn't a formula, it's a change of perspective... We're taught to see matrices as 'grids of numbers.' But to a machine learning engineer, a matrix is often secretly a graph."

Ova promjena perspektive - od "mreže brojeva" do "strukture grafa" - otkriva kognitivnu nadogradnju koju ML prolazi. Kada sve više ljudi razumije kako linearna algebra, teorija vjerovatnoće i teorija optimizacije podržavaju ove "čarolije", industrija će se pomaknuti od obožavanja crne kutije prema razumijevanju bijele kutije.

Problem troškova okoliša

Ne smije se zanemariti da prosperitet ML-a prati stvarna cijena za okoliš:

• 74% izjava tehnoloških kompanija o "AI pomaže klimi" nema dokaza
• Emisije Googlea porasle su za 48% u periodu 2019-2023
• Emisije Microsofta porasle su za 29% od 2020. godine

Ovi brojevi dolaze od širenja data centara, a pokretačka snaga širenja data centara je upravo ML obuka i zaključivanje. Ovo nije krivulja koja se može beskonačno ekstrapolirati.

Implikacije za praktičare

Ako ulazite u područje ML-a, postoje tri smjera na koja vrijedi obratiti pažnju:

1. Inženjering podataka: Teže ga je zamijeniti od arhitekture modela
2. Znanje domene: Znati koji su podaci vrijedni važnije je od znati kako trenirati
3. Sistemsko razmišljanje: ML nije izolirani model, već zatvorena petlja podataka-model-proizvod-korisnik

Kao što je neko rekao: Postati mašina za učenje je najvažnija meta-vještina u životu.

Ali preciznije rečeno: Postati mašina za učenje koja razumije podatke je prava konkurentska prednost ovog doba.