LLM on järgmine JPEG
Las ma räägin teile loo.
1990ndatel, kui sa tahtsid kellelegi pilti saata, pidid sa palju asju kaaluma: failiformaat, pakkimisalgoritm, värvisügavus. Igal tarkvaral oli oma formaat. Siis tuli JPEG.
Äkitselt ei hoolinud keegi enam pildiformaatidest. JPEG sai infrastruktuuriks. Sa ei ütleks "Ma tegin pildi JPEG-iga", sa lihtsalt ütled "Ma saatsin pildi".
LLM on teel samale teekonnale.
Kui tehnoloogia muutub õhuks
"LLM on kaup. Apple ostab hea meelega LLM-i ettevõtetelt tokeneid, kuid Apple on ettevõte, mis müüb diferentseeritud tooteid." — @deuteronormative
See lause on otsekohene. Kui sa oled Apple, siis sa ei tooda ise elektrit, sa ostad elektrit elektrivõrgust. Sa ei valmista ise rehve, sa ostad rehve Michelinilt. Nüüd sa ei treeni ka ise LLM-i, sa ostad tokeneid pilvest.
See ei tähenda, et LLM ei ole oluline. Elekter on oluline. Rehvid on olulised. Kuid need on infrastruktuur, mitte diferentseerivad tegurid.
Kulude sõja võitja
Alibaba äsja avaldatud Qwen 3.5:
- 397 miljardit parameetrit, 17 miljardit aktiveeritud
- 60% odavam kui Qwen 3
- 8 korda kiirem
- Tokeni hind on 1/18 Gemini 3 Pro hinnast
See ei ole tehnoloogiline läbimurre, see on hinnasõda. Sama juhtus LCD-teleritega. Esimene ettevõte, mis langes alla 1000 dollari, ei olnud tehnoloogiliselt parim, kuid see oli võitja.
Praktilised soovitused
Mida see tähendab, kui sa oled arendaja?
-
Ära treeni ise mudeleid. Kui sa ei ole OpenAI, Anthropic või Alibaba, siis mudelite treenimine on raha raiskamine. Kasuta API-sid.
-
Keskendu hinnale, mitte parameetritele. 397 miljardit parameetrit kõlab lahedalt, aga sinu kasutajad ei hooli sellest. Nad hoolivad reageerimiskiirusest ja kuludest.
-
Ole valmis migreeruma. LLM on kaup, mis tähendab, et see on asendatav. Täna kasuta GPT-d, homme Claude'i, ülehomme Qweni. Sinu arhitektuur peaks toetama sellist vahetust.
Huvitav paradoks
Inimesed, kes teavad LLM-ist kõige rohkem, räägivad sellest kõige vähem.
"Andrej Karpathy kirjutas 240 rea puhta Pythoniga mini-GPT. Ei mingit TensorFlow'i. Ei mingit PyTorch'i. Ainult matemaatika. See näitab, et LLM ei ole maagia – need on lihtsalt järgmise tokeni ennustused."
Kui sa mõistad, et "järgmine tokeni ennustus" on kogu selle tehnoloogia olemus, siis kaob palju hype'i. See ei ole alavääristamine. Mikrolaineahi soojendab ka ainult veemolekule, aga see muudab kööki.
Järgmine samm
LLM-ist saab midagi JPEG-i sarnast: kõikjalolev, keegi ei aruta seda, aga asendamatu.
Enne seda valivad targad inimesed hinnasõjas kõige odavama tarnija. Sest kui tehnoloogia muutub kaubaks, on ainus oluline asi hind.
