Koneoppimisen todellinen vallihauta

Kun puhumme tekoälykilpailusta, keskitymme yleensä malliarkkitehtuureihin, parametrien laajuuteen ja laskentatehoon. Mutta nämä eivät ole todellisia esteitä.

Algoritmit voidaan kopioida. Laskentatehoa voidaan vuokrata. Mutta omistetut, todellisen maailman datakanavat? Ne ovat vallihauta.

ML-kilpailun kolme vaihetta

Viime vuosikymmenen aikana koneoppimisen kilpailun painopiste on siirtynyt kolme kertaa:

Ensimmäinen vaihe: Algoritmikilpailu (2012-2017)

• Kenellä on parempi malliarkkitehtuuri
• CNN:n, RNN:n ja Transformerin keksijät saavat etulyöntiaseman
• Mutta kun paperi on julkaistu, kaikki voivat käyttää sitä

Toinen vaihe: Laskentatehokilpailu (2017-2022)

• Kenellä on enemmän GPU:ita
• GPT-3:n kouluttaminen vaatii yli 1000 V100-korttia
• Mutta pilvipalvelut tekevät laskentatehosta ostettavan hyödykkeen

Kolmas vaihe: Datakilpailu (2022-nykyhetki)

• Kenellä on ainutlaatuinen datakierre
• Synteettinen data ei voi korvata todellisen maailman dataa
• Tämä on kopioimaton este

Miksi data on viimeinen vallihauta?

Kolme syytä:

1. Niukkuus: Korkealaatuinen, hyvin merkitty todellinen data on luonnostaan niukkaa
2. Ei-kaupankäyntikelpoisuus: Vaikka olisit valmis maksamaan, et voi ostaa kilpailijan datakanavaa
3. Koronkorkovaikutus: Parempi data → parempi tuote → enemmän käyttäjiä → enemmän dataa

Eräs ML-ammattilainen kirjoitti X:ssä:

"Algorithms can be replicated. Compute can be rented. But proprietary real-world data pipelines? That's a moat."

Tämä tavoittaa ongelman ytimen. Kun näet OpenAI:n allekirjoittavan yksinoikeussopimuksia kustantajien kanssa ja Googlen käyttävän miljardeja Reddit-datan käyttöoikeuksiin, he eivät osta sisältöä – he ostavat koulutusdatan vallihautaa.

Harha-varianssi-kompromissin paluu

On mielenkiintoista, että kun keskustelemme datan laadusta, koneoppimisen klassisin käsite on tekemässä paluuta: harha-varianssi-kompromissi.

"Machine Learning in a nutshell: minimize error to achieve optimal bias-variance tradeoff. Higher the bias, more the error between predictions and ground truth - i.e. underfitting. Higher the variance, more the error from small fluctuations in the training set - i.e. overfitting." — @bindureddy

LLM-aikakaudella luulimme kerran, että tämä käsite oli vanhentunut. Mutta on osoittautunut, että datan laatuongelmien ydin on edelleen harhan ja varianssin tasapaino – roskadata tuottaa harhaa, homogenisoitu data johtaa varianssiin.

Matemaattisen näkökulman muutos

Toinen huomionarvoinen suuntaus on: ML:n matemaattisten perusteiden ymmärrys syvenee.

Eräs tutkija huomautti:

"The most powerful tool in your mathematical toolkit isn't a formula, it's a change of perspective... We're taught to see matrices as 'grids of numbers.' But to a machine learning engineer, a matrix is often secretly a graph."

Tämä näkökulman muutos – "numeroruudukosta" "graafirakenteeseen" – paljastaa ML:n kokeman kognitiivisen päivityksen. Kun yhä useammat ihmiset ymmärtävät, kuinka lineaarialgebra, todennäköisyyslasku ja optimointiteoria tukevat näitä "taikoja", ala siirtyy mustan laatikon palvonnasta valkoisen laatikon ymmärrykseen.

Ympäristökustannusongelma

Ei voida sivuuttaa sitä, että ML:n vauraus tuo mukanaan todellisia ympäristökustannuksia:

• 74 %:lla teknologiayritysten "tekoäly auttaa ilmastoa" -lausunnoista puuttuu todisteita
• Googlen päästöt kasvoivat 48 % vuosina 2019–2023
• Microsoftin päästöt ovat kasvaneet 29 % vuodesta 2020

Nämä luvut ovat peräisin datakeskusten laajentumisesta, ja datakeskusten laajentumisen moottorina on juuri ML-koulutus ja -päätelmät. Tämä ei ole käyrä, jota voidaan äärettömästi ekstrapoloida.

Vaikutukset ammattilaisille

Jos olet tulossa ML-alalle, on kolme suuntaa, joihin kannattaa kiinnittää huomiota:

1. Datatekniikka: Vaikeampi korvata kuin malliarkkitehtuurit
2. Alakohtainen tietämys: Tietää, mikä data on arvokasta, on tärkeämpää kuin tietää, miten kouluttaa
3. Systeeminen ajattelu: ML ei ole eristetty malli, vaan datan, mallin, tuotteen ja käyttäjien suljettu silmukka

Kuten joku sanoi: Oppimiskoneeksi tuleminen itsessään on elämän tärkein metataito.

Mutta tarkempi sanonta on: Datan ymmärtämiseksi oppimiskoneeksi tuleminen on tämän aikakauden todellinen kilpailuetu.