Pravi obrambni jarek strojnega učenja

Ko govorimo o tekmovanju v umetni inteligenci, se običajno osredotočamo na arhitekturo modelov, obseg parametrov in vložek računalniške moči. Vendar to niso prave ovire.

Algoritme je mogoče kopirati. Računalniško moč je mogoče najeti. Toda lastniški podatkovni cevovodi iz resničnega sveta? To je pravi obrambni jarek.

Tri faze tekmovanja v ML

V zadnjem desetletju se je tekmovalno žarišče strojnega učenja premaknilo trikrat:

Prva faza: Tekmovanje v algoritmih (2012-2017)

• Kdo ima boljšo arhitekturo modela
• Izumitelji CNN, RNN in Transformer so pridobili prednost
• Toda po objavi članka ga lahko uporablja vsak

Druga faza: Tekmovanje v računalniški moči (2017-2022)

• Kdo ima več GPU-jev
• Za usposabljanje GPT-3 je potrebnih 1000+ V100
• Toda storitve v oblaku omogočajo nakup računalniške moči

Tretja faza: Tekmovanje v podatkih (2022-danes)

• Kdo ima edinstven podatkovni krog
• Sintetični podatki ne morejo nadomestiti podatkov iz resničnega sveta
• To je neprenosljiva ovira

Zakaj so podatki zadnji obrambni jarek?

Trije razlogi:

1. Pomanjkanje: Visokokakovostni, dobro označeni resnični podatki so naravno redki
2. Neprenosljivost: Tudi če ste pripravljeni plačati, ne morete kupiti podatkovnih cevovodov konkurentov
3. Sestavljeni učinek: Boljši podatki → boljši izdelek → več uporabnikov → več podatkov

Praktik ML je na X zapisal:

"Algorithms can be replicated. Compute can be rented. But proprietary real-world data pipelines? That's a moat."

To zajame bistvo problema. Ko vidite, da OpenAI podpisuje ekskluzivne pogodbe z založniki in da Google porabi milijarde za nakup dostopa do podatkov Reddit, ne kupujejo vsebine - kupujejo obrambni jarek za podatke za usposabljanje.

Vrnitev kompromisa med pristranskostjo in varianco

Zanimivo je, da se, ko razpravljamo o kakovosti podatkov, vrača najklasičnejši koncept strojnega učenja: kompromis med pristranskostjo in varianco.

"Machine Learning in a nutshell: minimize error to achieve optimal bias-variance tradeoff. Higher the bias, more the error between predictions and ground truth - i.e. underfitting. Higher the variance, more the error from small fluctuations in the training set - i.e. overfitting." — @bindureddy

V dobi LLM smo nekoč mislili, da je ta koncept zastarel. Izkazalo pa se je, da je bistvo problema kakovosti podatkov še vedno ravnovesje med pristranskostjo in varianco - smeti povzročajo pristranskost, homogeni podatki pa povzročajo varianco.

Sprememba matematične perspektive

Drug trend, ki si zasluži pozornost, je: poglablja se razumevanje matematičnih temeljev ML.

Raziskovalec je poudaril:

"The most powerful tool in your mathematical toolkit isn't a formula, it's a change of perspective... We're taught to see matrices as 'grids of numbers.' But to a machine learning engineer, a matrix is often secretly a graph."

Ta premik perspektive - od "mreže številk" do "grafične strukture" - razkriva kognitivno nadgradnjo, ki jo doživlja ML. Ko bo vse več ljudi razumelo, kako linearna algebra, teorija verjetnosti in teorija optimizacije podpirajo te "čarobnosti", bo industrija prešla od čaščenja črne škatle k razumevanju bele škatle.

Problem okoljskih stroškov

Ne smemo prezreti dejstva, da blaginjo ML spremlja resnična okoljska cena:

• 74 % izjav tehnoloških podjetij "AI pomaga podnebju" je brez dokazov
• Emisije Googla so se v letih 2019–2023 povečale za 48 %
• Emisije Microsofta so se od leta 2020 povečale za 29 %

Te številke izhajajo iz širitve podatkovnih centrov, gonilna sila širitve podatkovnih centrov pa je usposabljanje in sklepanje ML. To ni krivulja, ki jo je mogoče neskončno ekstrapolirati.

Implikacije za praktike

Če vstopate na področje ML, so tri smeri, ki si zaslužijo pozornost:

1. Podatkovni inženiring: Težje ga je nadomestiti kot arhitekturo modela
2. Poznavanje domene: Vedeti, kateri podatki so vredni, je pomembnejše od tega, kako trenirati
3. Sistemsko razmišljanje: ML ni izoliran model, ampak zaprt krog podatki-model-izdelek-uporabnik

Kot je nekdo rekel: Postati sam učni stroj je najpomembnejša meta-veščina v življenju.

Toda natančnejša izjava bi bila: Postati učni stroj, ki razume podatke, je prava konkurenčna prednost tega obdobja.