Le véritable rempart du Machine Learning

Lorsque nous parlons de la compétition en matière d'IA, nous nous concentrons généralement sur l'architecture des modèles, la taille des paramètres et les investissements en puissance de calcul. Mais ce ne sont pas de véritables barrières.

Les algorithmes peuvent être copiés. La puissance de calcul peut être louée. Mais les pipelines de données propriétaires du monde réel ? C'est ça, le rempart.

Les trois phases de la compétition en ML

Au cours des dix dernières années, l'accent de la compétition en Machine Learning a connu trois migrations :

Première phase : Compétition algorithmique (2012-2017)

• Qui a la meilleure architecture de modèle
• Les inventeurs de CNN, RNN et Transformer obtiennent un avantage
• Mais après la publication des articles, tout le monde peut les utiliser

Deuxième phase : Compétition en puissance de calcul (2017-2022)

• Qui a le plus de GPU
• L'entraînement de GPT-3 nécessite plus de 1000 V100
• Mais les services cloud transforment la puissance de calcul en une marchandise achetable

Troisième phase : Compétition de données (2022-aujourd'hui)

• Qui a un cycle de données unique
• Les données synthétiques ne peuvent pas remplacer les données du monde réel
• C'est ça, la barrière irremplaçable

Pourquoi les données sont-elles le dernier rempart ?

Trois raisons :

1. Rareté : Les données réelles de haute qualité et bien annotées sont naturellement rares
2. Non-transférabilité : Même si vous êtes prêt à payer, vous ne pouvez pas acheter les pipelines de données de vos concurrents
3. Effet cumulatif : De meilleures données → de meilleurs produits → plus d'utilisateurs → plus de données

Un praticien du ML a écrit sur X :

"Algorithms can be replicated. Compute can be rented. But proprietary real-world data pipelines? That's a moat."

Cela saisit l'essence du problème. Lorsque vous voyez OpenAI signer des accords exclusifs avec des éditeurs, Google dépenser des milliards pour acheter l'accès aux données de Reddit, ils n'achètent pas du contenu - ils achètent un rempart de données d'entraînement.

Le retour du compromis biais-variance

Il est intéressant de noter que, lorsque nous parlons de la qualité des données, le concept le plus classique du Machine Learning fait son retour : le compromis biais-variance.

"Machine Learning in a nutshell: minimize error to achieve optimal bias-variance tradeoff. Higher the bias, more the error between predictions and ground truth - i.e. underfitting. Higher the variance, more the error from small fluctuations in the training set - i.e. overfitting." — @bindureddy

À l'ère des LLM, nous pensions autrefois que ce concept était dépassé. Mais il s'avère que l'essence des problèmes de qualité des données reste l'équilibre entre le biais et la variance - les données de mauvaise qualité produisent un biais, les données homogènes entraînent une variance.

Le changement de perspective mathématique

Une autre tendance à surveiller est l'approfondissement de la compréhension des fondements mathématiques du ML.

Un chercheur a souligné :

"The most powerful tool in your mathematical toolkit isn't a formula, it's a change of perspective... We're taught to see matrices as 'grids of numbers.' But to a machine learning engineer, a matrix is often secretly a graph."

Ce changement de perspective - du "grille de nombres" à la "structure de graphe" - révèle la mise à niveau cognitive que subit le ML. Lorsque de plus en plus de personnes comprendront comment l'algèbre linéaire, la théorie des probabilités et la théorie de l'optimisation soutiennent ces "magies", l'industrie passera du culte de la boîte noire à la compréhension de la boîte blanche.

Le problème des coûts environnementaux

Il ne faut pas ignorer que la prospérité du ML s'accompagne d'un véritable coût environnemental :

• 74 % des déclarations des entreprises technologiques "L'IA aide le climat" manquent de preuves
• Les émissions de Google ont augmenté de 48 % entre 2019 et 2023
• Les émissions de Microsoft ont augmenté de 29 % depuis 2020

Ces chiffres proviennent de l'expansion des centres de données, et le moteur de l'expansion des centres de données est précisément l'entraînement et l'inférence du ML. Ce n'est pas une courbe qui peut être extrapolée à l'infini.

Implications pour les praticiens

Si vous entrez dans le domaine du ML, il y a trois directions à surveiller :

1. Ingénierie des données : Plus difficile à remplacer que l'architecture des modèles
2. Connaissance du domaine : Savoir quelles données ont de la valeur est plus important que de savoir comment entraîner
3. Pensée systémique : Le ML n'est pas un modèle isolé, mais une boucle fermée données-modèle-produit-utilisateur

Comme quelqu'un l'a dit : Devenir une machine à apprendre soi-même est la méta-compétence la plus importante de la vie.

Mais une formulation plus précise serait : Devenir une machine à apprendre qui comprend les données est la véritable compétitivité de cette époque.