Skutečný příkop strojového učení
Když mluvíme o konkurenci v oblasti AI, obvykle se zaměřujeme na architekturu modelů, rozsah parametrů a investice do výpočetního výkonu. Ale to všechno nejsou skutečné bariéry.
Algoritmy lze kopírovat. Výpočetní výkon si lze pronajmout. Ale proprietární datové kanály z reálného světa? To je skutečný příkop.
Tři fáze ML konkurence
Během posledního desetiletí se ohnisko konkurence v oblasti strojového učení posunulo třikrát:
První fáze: Algoritmická konkurence (2012-2017)
- Kdo má lepší architekturu modelu
- Vývojáři CNN, RNN a Transformer získali výhodu
- Ale po zveřejnění článku to mohl používat každý
Druhá fáze: Konkurence ve výpočetním výkonu (2017-2022)
- Kdo má více GPU
- Trénink GPT-3 vyžaduje 1000+ V100
- Ale cloudové služby umožňují nákup výpočetního výkonu
Třetí fáze: Datová konkurence (2022-současnost)
- Kdo má jedinečný datový setrvačník
- Syntetická data nemohou nahradit data z reálného světa
- To je nepřekonatelná bariéra
Proč jsou data poslední baštou?
Tři důvody:
- Nedostatek: Vysoce kvalitní, dobře označená reálná data jsou přirozeně vzácná
- Nepřenositelnost: I když jste ochotni zaplatit, nemůžete si koupit datové kanály konkurence
- Efekt složeného úročení: Lepší data → lepší produkt → více uživatelů → více dat
Jeden ML praktik napsal na X:
"Algorithms can be replicated. Compute can be rented. But proprietary real-world data pipelines? That's a moat."
Tím se vystihuje podstata problému. Když vidíte, že OpenAI podepisuje exkluzivní dohody s vydavateli a Google utrácí miliardy za nákup přístupu k datům Reddit, nekupují obsah – kupují příkop trénovacích dat.
Návrat k vyvážení odchylky a rozptylu
Je zajímavé, že když diskutujeme o kvalitě dat, vrací se nejklasičtější koncept strojového učení: vyvážení odchylky a rozptylu.
"Machine Learning in a nutshell: minimize error to achieve optimal bias-variance tradeoff. Higher the bias, more the error between predictions and ground truth - i.e. underfitting. Higher the variance, more the error from small fluctuations in the training set - i.e. overfitting." — @bindureddy
V éře LLM jsme si jednou mysleli, že tento koncept je zastaralý. Ukázalo se však, že podstata problémů s kvalitou dat je stále rovnováha mezi odchylkou a rozptylem – nekvalitní data vytvářejí odchylku a homogenizovaná data vedou k rozptylu.
Změna matematické perspektivy
Dalším trendem, kterému je třeba věnovat pozornost, je: prohlubuje se porozumění matematickým základům ML.
Jeden výzkumník poznamenal:
"The most powerful tool in your mathematical toolkit isn't a formula, it's a change of perspective... We're taught to see matrices as 'grids of numbers.' But to a machine learning engineer, a matrix is often secretly a graph."
Tato změna perspektivy – od „mřížky čísel“ ke „grafové struktuře“ – odhaluje kognitivní upgrade, kterým ML prochází. Až stále více lidí pochopí, jak lineární algebra, teorie pravděpodobnosti a teorie optimalizace podporují tyto „magie“, průmysl se posune od uctívání černé skříňky k porozumění bílé skříňky.
Problém nákladů na životní prostředí
Nelze ignorovat, že prosperita ML je doprovázena skutečnými environmentálními náklady:
- 74 % prohlášení technologických společností o „AI pomáhá klimatu“ postrádá důkazy
- Emise Google vzrostly v letech 2019–2023 o 48 %
- Emise Microsoftu vzrostly od roku 2020 o 29 %
Tato čísla pocházejí z expanze datových center a hnací silou expanze datových center je trénink a inference ML. Toto není křivka, kterou lze donekonečna extrapolovat.
Důsledky pro odborníky
Pokud vstupujete do oblasti ML, existují tři směry, kterým stojí za to věnovat pozornost:
- Datové inženýrství: Hůře nahraditelné než architektura modelu
- Znalosti domény: Vědět, jaká data mají hodnotu, je důležitější než vědět, jak trénovat
- Systémové myšlení: ML není izolovaný model, ale uzavřená smyčka data-model-produkt-uživatel
Jak někdo řekl: stát se učícím se strojem je nejdůležitější meta-dovednost v životě.
Ale přesnější by bylo říci: stát se učícím se strojem, který rozumí datům, je skutečná konkurenční výhoda této doby.
