Skutočný ochranný val strojového učenia

Keď hovoríme o konkurencii v oblasti AI, zvyčajne sa zameriavame na architektúru modelov, rozsah parametrov a investície do výpočtovej techniky. Ale žiadna z týchto vecí nie je skutočnou bariérou.

Algoritmy sa dajú kopírovať. Výpočtový výkon sa dá prenajať. Ale proprietárne dátové kanály z reálneho sveta? To je ochranný val.

Tri fázy ML konkurencie

Za posledných desať rokov sa konkurenčné zameranie strojového učenia posunulo trikrát:

Prvá fáza: Algoritmická konkurencia (2012-2017)

• Kto má lepšiu architektúru modelu
• Vývojári CNN, RNN a Transformer získali výhodu
• Ale po publikovaní článku ho môže použiť každý

Druhá fáza: Konkurencia vo výpočtovej technike (2017-2022)

• Kto má viac GPU
• Trénovanie GPT-3 vyžaduje 1000+ V100
• Ale cloudové služby robia z výpočtovej techniky komoditu, ktorú si môžete kúpiť

Tretia fáza: Dátová konkurencia (2022-súčasnosť)

• Kto má jedinečný dátový cyklus
• Syntetické dáta nemôžu nahradiť dáta z reálneho sveta
• Toto je neopakovateľná bariéra

Prečo sú dáta posledným ochranným valom?

Tri dôvody:

1. Nedostatok: Vysoko kvalitné, dobre označené reálne dáta sú prirodzene vzácne
2. Neprevediteľnosť: Aj keď ste ochotní zaplatiť, nemôžete si kúpiť dátové kanály konkurentov
3. Zložený efekt: Lepšie dáta → lepší produkt → viac používateľov → viac dát

Jeden odborník na ML napísal na X:

"Algorithms can be replicated. Compute can be rented. But proprietary real-world data pipelines? That's a moat."

Toto vystihuje podstatu problému. Keď vidíte, že OpenAI podpisuje exkluzívne zmluvy s vydavateľmi a Google míňa miliardy na nákup prístupu k dátam Reddit, nekupujú obsah – kupujú ochranný val tréningových dát.

Návrat k vyváženiu odchýlky a rozptylu

Je zaujímavé, že keď diskutujeme o kvalite dát, vracia sa najklasickejší koncept strojového učenia: vyváženie odchýlky a rozptylu.

"Machine Learning in a nutshell: minimize error to achieve optimal bias-variance tradeoff. Higher the bias, more the error between predictions and ground truth - i.e. underfitting. Higher the variance, more the error from small fluctuations in the training set - i.e. overfitting." — @bindureddy

V ére LLM sme si raz mysleli, že tento koncept je zastaraný. Ukazuje sa však, že podstatou problému kvality dát je stále rovnováha medzi odchýlkou a rozptylom – nekvalitné dáta vytvárajú odchýlku a homogenizované dáta vedú k rozptylu.

Zmena matematickej perspektívy

Ďalším trendom, ktorému treba venovať pozornosť, je: prehlbuje sa pochopenie matematických základov ML.

Jeden výskumník poznamenal:

"The most powerful tool in your mathematical toolkit isn't a formula, it's a change of perspective... We're taught to see matrices as 'grids of numbers.' But to a machine learning engineer, a matrix is often secretly a graph."

Tento posun perspektívy – od „číselnej mriežky“ k „grafovej štruktúre“ – odhaľuje kognitívnu inováciu, ktorou ML prechádza. Keď čoraz viac ľudí pochopí, ako lineárna algebra, teória pravdepodobnosti a teória optimalizácie podporujú tieto „kúzla“, odvetvie prejde od uctievania čiernej skrinky k pochopeniu bielej skrinky.

Problém environmentálnych nákladov

Netreba zabúdať, že prosperita ML je sprevádzaná skutočnými environmentálnymi nákladmi:

• 74 % vyhlásení technologických spoločností o „klíme s podporou AI“ je nepodložených dôkazmi
• Emisie spoločnosti Google vzrástli v rokoch 2019 – 2023 o 48 %
• Emisie spoločnosti Microsoft vzrástli od roku 2020 o 29 %

Tieto čísla pochádzajú z expanzie dátových centier a hnacou silou expanzie dátových centier je tréning a inferencia ML. Toto nie je krivka, ktorú možno donekonečna extrapolovať.

Dôsledky pre odborníkov

Ak vstupujete do oblasti ML, existujú tri smery, ktorým by ste mali venovať pozornosť:

1. Dátové inžinierstvo: Ťažšie nahraditeľné ako architektúra modelu
2. Odborné znalosti: Vedieť, ktoré dáta majú hodnotu, je dôležitejšie ako vedieť, ako trénovať
3. Systémové myslenie: ML nie je izolovaný model, ale uzavretý cyklus dáta-model-produkt-používateľ

Ako niekto povedal: Stať sa učiacim sa strojom je najdôležitejšia metazručnosť v živote.

Ale presnejšie povedané: Stať sa učiacim sa strojom, ktorý rozumie dátam, je skutočná konkurenčná výhoda tejto doby.