Права заштита машинског учења

Када говоримо о AI конкуренцији, обично се фокусирамо на архитектуру модела, величину параметара, улагање у рачунарску снагу. Али то нису праве баријере.

Алгоритми се могу копирати. Рачунарска снага се може изнајмити. Али власнички канали података из стварног света? То је права заштита.

Три фазе ML конкуренције

У последњих десет година, фокус конкуренције у машинском учењу је прошао кроз три миграције:

Прва фаза: Алгоритамска конкуренција (2012-2017)

• Ко има бољу архитектуру модела
• Проналазачи CNN, RNN, Transformer-а су стекли предност
• Али након објављивања рада, сви могу да га користе

Друга фаза: Конкуренција у рачунарској снази (2017-2022)

• Ко има више GPU-ова
• За тренирање GPT-3 потребно је 1000+ V100
• Али услуге у облаку чине рачунарску снагу робом која се може купити

Трећа фаза: Конкуренција података (2022-сада)

• Ко има јединствени круг података
• Синтетички подаци не могу да замене податке из стварног света
• Ово је незаменљива баријера

Зашто су подаци последња заштита?

Три разлога:

1. Недостатак: Квалитетни, добро означени стварни подаци су природно ретки
2. Немогућност трговине: Чак и ако сте спремни да платите, не можете купити канале података конкурента
3. Ефекат сложене камате: Бољи подаци → бољи производи → више корисника → више података

Један ML практичар је написао на X-у:

"Algorithms can be replicated. Compute can be rented. But proprietary real-world data pipelines? That's a moat."

Ово хвата суштину проблема. Када видите да OpenAI потписује ексклузивне уговоре са издавачима, Google троши милијарде да купи приступ подацима Reddit-а, они не купују садржај - они купују заштиту за податке за тренирање.

Повратак компромиса између пристрасности и варијансе

Занимљиво је да се, када разговарамо о квалитету података, враћа најкласичнији концепт машинског учења: компромис између пристрасности и варијансе.

"Machine Learning in a nutshell: minimize error to achieve optimal bias-variance tradeoff. Higher the bias, more the error between predictions and ground truth - i.e. underfitting. Higher the variance, more the error from small fluctuations in the training set - i.e. overfitting." — @bindureddy

У ери LLM-а, једном смо мислили да је овај концепт застарео. Али испоставило се да је суштина проблема квалитета података и даље равнотежа између пристрасности и варијансе - смеће подаци стварају пристрасност, хомогени подаци доводе до варијансе.

Промена математичке перспективе

Још један тренд на који треба обратити пажњу је: разумевање математичких основа ML-а се продубљује.

Један истраживач је истакао:

"The most powerful tool in your mathematical toolkit isn't a formula, it's a change of perspective... We're taught to see matrices as 'grids of numbers.' But to a machine learning engineer, a matrix is often secretly a graph."

Ова промена перспективе - од "мреже бројева" до "структуре графа" - открива когнитивну надоградњу кроз коју ML пролази. Када све више људи разуме како линеарна алгебра, теорија вероватноће, теорија оптимизације подржавају ове "магије", индустрија ће прећи од обожавања црне кутије до разумевања беле кутије.

Проблем трошкова животне средине

Не може се занемарити да просперитет ML-а прати стварна цена животне средине:

• 74% тврдњи технолошких компанија о "AI помаже клими" немају доказе
• Google емисије су порасле за 48% од 2019. до 2023. године
• Microsoft емисије су порасле за 29% од 2020. године

Ови бројеви долазе од проширења дата центара, а покретачка снага проширења дата центара је управо ML тренирање и закључивање. Ово није крива која се може бесконачно екстраполирати.

Инспирација за практичаре

Ако улазите у област ML-а, постоје три правца на које треба обратити пажњу:

1. Инжењеринг података: Теже га је заменити од архитектуре модела
2. Знање о домену: Знати који су подаци вредни је важније од знања како тренирати
3. Системско размишљање: ML није изоловани модел, већ затворена петља подаци-модел-производ-корисник

Као што је неко рекао: Постати машина за учење је најважнија мета-вештина у животу.

Али тачније је рећи: Постати машина за учење која разуме податке је права конкурентска предност овог доба.