La vera trincea del Machine Learning
Quando parliamo di competizione nell'ambito dell'AI, di solito ci concentriamo sull'architettura dei modelli, la dimensione dei parametri e l'investimento in potenza di calcolo. Ma queste non sono le vere barriere.
Gli algoritmi possono essere replicati. La potenza di calcolo può essere noleggiata. Ma le pipeline di dati proprietarie del mondo reale? Quella è la trincea.
Le tre fasi della competizione nel ML
Negli ultimi dieci anni, il focus della competizione nel machine learning ha subito tre migrazioni:
Prima fase: competizione algoritmica (2012-2017)
- Chi ha un'architettura di modello migliore
- Gli inventori di CNN, RNN, Transformer ottengono un vantaggio
- Ma dopo la pubblicazione dell'articolo, tutti possono usarlo
Seconda fase: competizione sulla potenza di calcolo (2017-2022)
- Chi ha più GPU
- L'addestramento di GPT-3 richiede più di 1000 V100
- Ma i servizi cloud trasformano la potenza di calcolo in una merce acquistabile
Terza fase: competizione sui dati (2022-oggi)
- Chi ha un ciclo di feedback dei dati unico
- I dati sintetici non possono sostituire i dati del mondo reale
- Questa è la barriera non replicabile
Perché i dati sono l'ultima trincea?
Tre ragioni:
- Scarsità: i dati reali di alta qualità e ben etichettati sono naturalmente scarsi
- Non commerciabilità: anche se si è disposti a pagare, non è possibile acquistare la pipeline di dati dei concorrenti
- Effetto di capitalizzazione: dati migliori → prodotti migliori → più utenti → più dati
Un professionista del ML ha scritto su X:
"Algorithms can be replicated. Compute can be rented. But proprietary real-world data pipelines? That's a moat."
Questo coglie l'essenza del problema. Quando vedi OpenAI firmare accordi esclusivi con gli editori, Google spendere miliardi per acquistare l'accesso ai dati di Reddit, non stanno comprando contenuti: stanno comprando la trincea dei dati di addestramento.
Il ritorno del compromesso bias-varianza
È interessante notare che, quando discutiamo della qualità dei dati, il concetto più classico del machine learning sta tornando: il compromesso bias-varianza.
"Machine Learning in a nutshell: minimize error to achieve optimal bias-variance tradeoff. Higher the bias, more the error between predictions and ground truth - i.e. underfitting. Higher the variance, more the error from small fluctuations in the training set - i.e. overfitting." — @bindureddy
Nell'era degli LLM, una volta pensavamo che questo concetto fosse obsoleto. Ma si scopre che l'essenza del problema della qualità dei dati è ancora l'equilibrio tra bias e varianza: i dati spazzatura producono bias, i dati omogenei portano alla varianza.
Il cambiamento nella prospettiva matematica
Un'altra tendenza degna di nota è che la comprensione dei fondamenti matematici del ML si sta approfondendo.
Un ricercatore ha sottolineato:
"The most powerful tool in your mathematical toolkit isn't a formula, it's a change of perspective... We're taught to see matrices as 'grids of numbers.' But to a machine learning engineer, a matrix is often secretly a graph."
Questo cambio di prospettiva - da "griglia di numeri" a "struttura a grafo" - rivela l'aggiornamento cognitivo che il ML sta vivendo. Quando sempre più persone capiranno come l'algebra lineare, la teoria della probabilità e la teoria dell'ottimizzazione supportano queste "magie", il settore passerà dall'adorazione della scatola nera alla comprensione della scatola bianca.
Il problema dei costi ambientali
Non si può ignorare che la prosperità del ML è accompagnata da un reale costo ambientale:
- Il 74% delle dichiarazioni delle aziende tecnologiche "AI per il clima" mancano di prove
- Le emissioni di Google sono aumentate del 48% tra il 2019 e il 2023
- Le emissioni di Microsoft sono aumentate del 29% dal 2020
Questi numeri derivano dall'espansione dei data center, e la forza trainante dell'espansione dei data center è proprio l'addestramento e l'inferenza del ML. Questa non è una curva che può essere estrapolata all'infinito.
Implicazioni per i professionisti
Se stai entrando nel campo del ML, ci sono tre direzioni a cui vale la pena prestare attenzione:
- Ingegneria dei dati: più difficile da sostituire rispetto all'architettura del modello
- Conoscenza del dominio: sapere quali dati hanno valore è più importante che sapere come addestrare
- Pensiero sistemico: il ML non è un modello isolato, ma un ciclo chiuso di dati-modello-prodotto-utente
Come qualcuno ha detto: diventare una macchina di apprendimento stessa è la meta-abilità più importante della vita.
Ma una formulazione più accurata è: diventare una macchina di apprendimento che comprende i dati è la vera competitività di quest'epoca.
