Masinõppe tõeline kaitsekraav

Kui me räägime AI konkurentsist, siis keskendume tavaliselt mudeli arhitektuurile, parameetrite suurusele ja arvutusvõimsuse investeeringutele. Kuid need pole tegelikud barjäärid.

Algoritme saab kopeerida. Arvutusvõimsust saab rentida. Aga patenteeritud reaalse maailma andmetorustikud? See ongi kaitsekraav.

ML konkurentsi kolm etappi

Viimase kümne aasta jooksul on masinõppe konkurentsi fookus nihkunud kolm korda:

Esimene etapp: Algoritmi konkurents (2012-2017)

• Kellel on parem mudeli arhitektuur
• CNN, RNN, Transformeri leiutajad saavutasid eelise
• Kuid pärast artikli avaldamist saavad kõik seda kasutada

Teine etapp: Arvutusvõimsuse konkurents (2017-2022)

• Kellel on rohkem GPU-sid
• GPT-3 treenimiseks on vaja 1000+ V100 kaarti
• Kuid pilveteenused muudavad arvutusvõimsuse ostetavaks kaubaks

Kolmas etapp: Andmete konkurents (2022-praegu)

• Kellel on unikaalne andmete laviin
• Sünteetilised andmed ei saa asendada reaalse maailma andmeid
• See ongi kopeerimatu barjäär

Miks on andmed viimane kaitsekraav?

Kolm põhjust:

1. Puudulikkus: Kvaliteetsed, hästi märgistatud reaalsed andmed on loomulikult puudulikud
2. Mittekaubeldavus: Isegi kui olete nõus maksma, ei saa te osta konkurentide andmetorustikke
3. Liitintressi efekt: Parem andmed → parem toode → rohkem kasutajaid → rohkem andmeid

Üks ML praktik kirjutas X-is:

"Algorithms can be replicated. Compute can be rented. But proprietary real-world data pipelines? That's a moat."

See tabab asja tuuma. Kui näete, et OpenAI sõlmib kirjastajatega eksklusiivseid lepinguid ja Google kulutab miljardeid Reddit andmetele juurdepääsu ostmiseks, siis nad ei osta sisu – nad ostavad treeningandmete kaitsekraavi.

Kallutatuse-dispersiooni kompromissi tagasitulek

Huvitaval kombel, kui me arutame andmete kvaliteeti, siis on masinõppe kõige klassikalisem kontseptsioon tagasi tulemas: kallutatuse-dispersiooni kompromiss.

"Machine Learning in a nutshell: minimize error to achieve optimal bias-variance tradeoff. Higher the bias, more the error between predictions and ground truth - i.e. underfitting. Higher the variance, more the error from small fluctuations in the training set - i.e. overfitting." — @bindureddy

LLM ajastul arvasime korra, et see kontseptsioon on aegunud. Kuid selgub, et andmete kvaliteedi probleemi olemus on endiselt kallutatuse ja dispersiooni tasakaal – rämpsandmed tekitavad kallutatust ja homogeensed andmed põhjustavad dispersiooni.

Matemaatilise vaatenurga muutus

Teine tähelepanuväärne suundumus on: ML matemaatiliste aluste mõistmine süveneb.

Üks teadlane märkis:

"The most powerful tool in your mathematical toolkit isn't a formula, it's a change of perspective... We're taught to see matrices as 'grids of numbers.' But to a machine learning engineer, a matrix is often secretly a graph."

See vaatenurga muutus – alates "numbrite ruudustikust" kuni "graafistruktuurini" – paljastab ML-i kognitiivse uuenduse. Kui üha rohkem inimesi mõistab, kuidas lineaarsed algebra, tõenäosusteooria ja optimeerimisteooria toetavad neid "maagiaid", siis liigub tööstus musta kasti kummardamisest valge kasti mõistmiseni.

Keskkonnakulu probleem

Ei saa ignoreerida, et ML-i õitsenguga kaasneb reaalne keskkonnakulu:

• 74% tehnoloogiaettevõtete "AI toetab kliimat" avaldustest puuduvad tõendid
• Google'i heitkogused kasvasid 2019-2023 aastatel 48%
• Microsofti heitkogused on alates 2020. aastast kasvanud 29%

Need arvud pärinevad andmekeskuste laienemisest ja andmekeskuste laienemise ajendiks on just ML treenimine ja järeldamine. See ei ole kõver, mida saab lõpmatuseni ekstrapoleerida.

Järeldused praktikutele

Kui olete sisenemas ML valdkonda, siis on kolm suunda, millele tasub tähelepanu pöörata:

1. Andmetöötlus: Raskem asendada kui mudeli arhitektuur
2. Valdkonna teadmised: Teadmine, millised andmed on väärtuslikud, on olulisem kui teadmine, kuidas treenida
3. Süsteemne mõtlemine: ML ei ole isoleeritud mudel, vaid andmed-mudel-toode-kasutaja suletud ahel

Nagu keegi ütles: Õppimismasina enda loomine on elu kõige olulisem metaoskus.

Kuid täpsem on öelda: Andmete mõistmise õppimismasina loomine on selle ajastu tõeline konkurentsieelis.