Prawdziwa fosa w uczeniu maszynowym
Kiedy mówimy o konkurencji w dziedzinie AI, zazwyczaj skupiamy się na architekturze modeli, skali parametrów i nakładach na moc obliczeniową. Ale to nie są prawdziwe bariery.
Algorytmy można skopiować. Moc obliczeniową można wynająć. Ale zastrzeżone potoki danych ze świata rzeczywistego? To jest fosa.
Trzy etapy konkurencji w ML
W ciągu ostatniej dekady konkurencja w uczeniu maszynowym przeszła trzy zmiany:
Etap pierwszy: Konkurencja algorytmiczna (2012-2017)
- Kto ma lepszą architekturę modelu
- Wynalazcy CNN, RNN i Transformerów zyskują przewagę
- Ale po opublikowaniu artykułu każdy może go użyć
Etap drugi: Konkurencja moc obliczeniowa (2017-2022)
- Kto ma więcej GPU
- Trenowanie GPT-3 wymaga ponad 1000 V100
- Ale usługi w chmurze sprawiają, że moc obliczeniowa staje się towarem, który można kupić
Etap trzeci: Konkurencja danych (2022-obecnie)
- Kto ma unikalną pętlę danych
- Dane syntetyczne nie mogą zastąpić danych ze świata rzeczywistego
- To jest niepowtarzalna bariera
Dlaczego dane są ostatnią fosą?
Trzy powody:
- Niedobór: Wysokiej jakości, dobrze oznakowane dane rzeczywiste są naturalnie rzadkie
- Niezbywalność: Nawet jeśli chcesz zapłacić, nie możesz kupić potoku danych konkurenta
- Efekt składany: Lepsze dane → lepszy produkt → więcej użytkowników → więcej danych
Jeden z praktyków ML napisał na X:
"Algorithms can be replicated. Compute can be rented. But proprietary real-world data pipelines? That's a moat."
To oddaje istotę problemu. Kiedy widzisz, że OpenAI podpisuje ekskluzywne umowy z wydawcami, a Google wydaje miliardy na zakup dostępu do danych Reddit, nie kupują treści – kupują fosę danych treningowych.
Powrót do kompromisu między obciążeniem a wariancją
Co ciekawe, kiedy mówimy o jakości danych, powraca najbardziej klasyczna koncepcja uczenia maszynowego: kompromis między obciążeniem a wariancją.
"Machine Learning in a nutshell: minimize error to achieve optimal bias-variance tradeoff. Higher the bias, more the error between predictions and ground truth - i.e. underfitting. Higher the variance, more the error from small fluctuations in the training set - i.e. overfitting." — @bindureddy
W erze LLM myśleliśmy kiedyś, że ta koncepcja jest przestarzała. Ale okazuje się, że istotą problemu jakości danych jest nadal równowaga między obciążeniem a wariancją – dane śmieciowe generują obciążenie, a homogeniczne dane prowadzą do wariancji.
Zmiana perspektywy matematycznej
Kolejnym trendem, na który warto zwrócić uwagę, jest pogłębianie się zrozumienia podstaw matematycznych ML.
Jeden z badaczy zauważył:
"The most powerful tool in your mathematical toolkit isn't a formula, it's a change of perspective... We're taught to see matrices as 'grids of numbers.' But to a machine learning engineer, a matrix is often secretly a graph."
Ta zmiana perspektywy – od „siatki liczb” do „struktury grafu” – ujawnia ewolucję poznawczą, jaką przechodzi ML. Kiedy coraz więcej osób rozumie, jak algebra liniowa, rachunek prawdopodobieństwa i teoria optymalizacji wspierają te „magie”, branża przejdzie od kultu czarnej skrzynki do zrozumienia białej skrzynki.
Kwestia kosztów środowiskowych
Nie można ignorować faktu, że rozkwit ML wiąże się z realnymi kosztami środowiskowymi:
- 74% oświadczeń firm technologicznych dotyczących „AI wspierającego klimat” jest pozbawionych dowodów
- Emisje Google wzrosły o 48% w latach 2019-2023
- Emisje Microsoftu wzrosły o 29% od 2020 r.
Liczby te pochodzą z ekspansji centrów danych, a siłą napędową ekspansji centrów danych jest szkolenie i wnioskowanie ML. To nie jest krzywa, którą można ekstrapolować w nieskończoność.
Implikacje dla praktyków
Jeśli wchodzisz w dziedzinę ML, warto zwrócić uwagę na trzy kierunki:
- Inżynieria danych: Trudniej ją zastąpić niż architekturę modelu
- Wiedza domenowa: Wiedza o tym, które dane są wartościowe, jest ważniejsza niż wiedza o tym, jak trenować
- Myślenie systemowe: ML to nie izolowany model, ale zamknięta pętla danych-model-produkt-użytkownik
Jak ktoś powiedział: Stanie się samouczącą się maszyną jest najważniejszą meta-umiejętnością w życiu.
Ale dokładniej: Stanie się maszyną uczącą się, która rozumie dane, jest prawdziwą konkurencyjnością w tej erze.
