A gépi tanulás valódi védőárka
Amikor az AI versenyéről beszélünk, általában a modell architektúrájára, a paraméterek méretére és a számítási kapacitásra összpontosítunk. De ezek egyike sem igazi akadály.
Az algoritmusok lemásolhatók. A számítási kapacitás bérelhető. De a saját, valós adatokból álló adatcsatornák? Ez az, ami a védőárok.
Az ML verseny három szakasza
Az elmúlt évtizedben a gépi tanulás versenyének fókusza háromszor változott:
Első szakasz: Algoritmusverseny (2012-2017)
- Kinek van jobb modell architektúrája
- A CNN, RNN, Transformer feltalálói előnyre tettek szert
- De a cikkek megjelenése után mindenki használhatta
Második szakasz: Számítási kapacitás verseny (2017-2022)
- Kinek van több GPU-ja
- A GPT-3 betanításához 1000+ V100-as kártya szükséges
- De a felhőszolgáltatások a számítási kapacitást megvásárolható áruvá tették
Harmadik szakasz: Adatverseny (2022-től napjainkig)
- Kinek van egyedi adatspirálja
- A szintetikus adatok nem helyettesíthetik a valós adatokat
- Ez az, ami a nem másolható akadály
Miért az adatok a végső védőárok?
Három okból:
- Szűkösség: A jó minőségű, jól annotált valós adatok természetüknél fogva szűkösek
- Nem kereskedhetőség: Még ha hajlandó is fizetni, nem vásárolhatja meg a versenytárs adatcsatornáját
- Kamatos kamat hatás: Jobb adatok → jobb termék → több felhasználó → több adat
Egy ML szakember ezt írta az X-en:
"Algorithms can be replicated. Compute can be rented. But proprietary real-world data pipelines? That's a moat."
Ez megragadja a probléma lényegét. Amikor azt látja, hogy az OpenAI exkluzív megállapodásokat köt kiadókkal, a Google pedig több milliárdot költ a Reddit adatokhoz való hozzáférésre, akkor nem tartalmat vásárolnak – hanem a betanítási adatok védőárkát.
A torzítás-variancia kompromisszum visszatérése
Érdekes módon, amikor az adatok minőségéről beszélünk, a gépi tanulás legklasszikusabb fogalma tér vissza: a torzítás-variancia kompromisszum.
"Machine Learning in a nutshell: minimize error to achieve optimal bias-variance tradeoff. Higher the bias, more the error between predictions and ground truth - i.e. underfitting. Higher the variance, more the error from small fluctuations in the training set - i.e. overfitting." — @bindureddy
Az LLM korszakban egy ideig azt hittük, hogy ez a fogalom elavult. De kiderült, hogy az adatminőségi problémák lényege továbbra is a torzítás és a variancia egyensúlya – a szemét adatok torzítást okoznak, a homogén adatok pedig varianciát.
Matematikai szemszögváltás
Egy másik figyelemre méltó tendencia: az ML matematikai alapjainak megértése mélyül.
Egy kutató rámutatott:
"The most powerful tool in your mathematical toolkit isn't a formula, it's a change of perspective... We're taught to see matrices as 'grids of numbers.' But to a machine learning engineer, a matrix is often secretly a graph."
Ez a szemszögváltás – a "számrácsoktól" a "gráfstruktúrákig" – feltárja az ML által átélt kognitív frissítést. Amikor egyre többen értik meg, hogy a lineáris algebra, a valószínűségszámítás és az optimalizálási elmélet hogyan támasztja alá ezeket a "varázslatokat", az ipar a fekete doboz imádatától a fehér doboz megértése felé mozdul el.
Környezeti költség kérdése
Nem szabad figyelmen kívül hagyni, hogy az ML fellendülését valós környezeti költségek kísérik:
- A technológiai vállalatok "AI-val segítjük az éghajlatot" állításainak 74%-a nem bizonyított
- A Google kibocsátása 2019-2023 között 48%-kal nőtt
- A Microsoft kibocsátása 2020 óta 29%-kal nőtt
Ezek a számok az adatközpontok terjeszkedéséből származnak, az adatközpontok terjeszkedését pedig az ML betanítás és következtetés hajtja. Ez nem egy korlátlanul extrapolálható görbe.
Következtetések a szakemberek számára
Ha belép az ML területére, három irány van, amelyre érdemes figyelni:
- Adatmérnökség: Nehezebb helyettesíteni, mint a modell architektúráját
- Szakterületi tudás: Fontosabb tudni, hogy mely adatok értékesek, mint tudni, hogyan kell betanítani
- Rendszerszemlélet: Az ML nem egy elszigetelt modell, hanem egy adat-modell-termék-felhasználó zárt kör
Ahogy valaki mondta: az, hogy valaki maga is tanulógéppé váljon, az élet legfontosabb meta-képessége.
De pontosabb megfogalmazás: az, hogy valaki az adatokat megértő tanulógéppé váljon, az a kor valódi versenyképessége.
