LLM е следниот JPEG
Дозволете ми да ви раскажам приказна.
Во 1990-тите, ако сакавте да испратите фотографија на некој друг, требаше да размислите за многу работи: формат на датотека, алгоритам за компресија, длабочина на боја. Секој софтвер имаше свој формат. Потоа се појави JPEG.
Одеднаш, никој повеќе не се грижеше за форматот на сликата. JPEG стана инфраструктура. Не би рекле „Направив слика со JPEG“, туку само „Испратив слика“.
LLM оди по истиот пат.
Кога технологијата станува воздух
"LLM е стока. Apple со задоволство ќе купува токени од компании за LLM, но Apple е компанија која продава диференцирани производи." — @deuteronormative
Оваа реченица е директна. Ако сте Apple, нема да произведувате електрична енергија сами, туку ќе купувате електрична енергија од електричната мрежа. Нема да произведувате гуми сами, туку ќе купувате гуми од Michelin. Сега, нема ниту да тренирате LLM сами, туку ќе купувате токени од облакот.
Ова не значи дека LLM не е важен. Електричната енергија е важна. Гумите се важни. Но, тие се инфраструктура, а не фактор на диференцијација.
Победникот во војната на трошоците
Qwen 3.5 штотуку објавен од Alibaba:
- 397 милијарди параметри, 17 милијарди активирани
- 60% поевтин од Qwen 3
- 8 пати побрз
- Цената на токен е 1/18 од Gemini 3 Pro
Ова не е технолошки пробив, ова е ценовна војна. На ист начин се намалија цените на LCD телевизорите во минатото. Првата компанија што падна под 1000 долари не беше технолошки најдобрата, но беше победник.
Прагматични совети
Што значи ова ако сте програмер?
-
Не тренирајте модели сами. Освен ако не сте OpenAI, Anthropic или Alibaba, тренирањето модели е трошење пари. Користете API.
-
Фокусирајте се на цената, а не на параметрите. 397 милијарди параметри звучат кул, но вашите корисници не се грижат за тоа. Тие се грижат за брзината на одговор и цената.
-
Подгответе се за миграција. LLM е стока, што значи дека е заменлива. Денес користите GPT, утре Claude, задутре Qwen. Вашата архитектура треба да ја поддржува оваа промена.
Интересен парадокс
Луѓето кои најмногу разбираат LLM најмалку зборуваат за LLM.
"Andrej Karpathy напиша мини GPT со 240 линии чист Python. Без TensorFlow. Без PyTorch. Само математика. Тоа покажува дека LLM не е магија - тие се само предвидување на следниот токен."
Кога ќе разберете дека „предвидувањето на следниот токен“ е сè што е оваа технологија, многу од хајпот исчезнува. Ова не е омаловажување. Микробрановата печка само ги загрева молекулите на водата, но ја менува кујната.
Следни чекори
LLM ќе стане нешто како JPEG: сеприсутен, никој не зборува за тоа, но е неопходен.
Дотогаш, паметните луѓе ќе го изберат најевтиниот снабдувач во ценовната војна. Затоа што кога технологијата ќе стане стока, единственото нешто што е важно е цената.
