Az LLM a következő JPEG
Hadd meséljek el egy történetet.
Az 1990-es években, ha fényképet akartál küldeni valakinek, sok mindent figyelembe kellett venned: fájlformátumot, tömörítési algoritmust, színmélységet. Minden szoftvernek megvolt a saját formátuma. Aztán megjelent a JPEG.
Egyszer csak senkit sem érdekelt többé a képformátum. A JPEG infrastruktúrává vált. Nem azt mondod, hogy „JPEG-ben készítettem egy képet”, hanem csak azt, hogy „küldtem egy képet”.
Az LLM ugyanazon az úton jár.
Amikor a technológia levegővé válik
"Az LLM egy árucikk. Az Apple szívesen vásárol tokeneket LLM cégektől, de az Apple egy differenciált termékeket értékesítő cég." — @deuteronormative
Ez egyenes beszéd. Ha az Apple lennél, nem magad állítanád elő az áramot, hanem a hálózatról vásárolnád. Nem magad gyártanád a gumikat, hanem a Michelin-től vásárolnád. Most pedig nem magad képeznéd az LLM-et, hanem a felhőből vásárolnál tokeneket.
Ez nem azt jelenti, hogy az LLM nem fontos. Az áram fontos. A gumik fontosak. De ezek infrastruktúrák, nem differenciáló tényezők.
A költségháború győztese
Az Alibaba által nemrégiben kiadott Qwen 3.5:
- 397 milliárd paraméter, 17 milliárd aktivált
- 60%-kal olcsóbb, mint a Qwen 3
- 8-szor gyorsabb
- A token ára a Gemini 3 Pro 1/18-a
Ez nem technológiai áttörés, ez árháború. A LCD TV-k is így estek le az árak. Az első vállalat, amely 1000 dollár alá esett, nem a legjobb technológiával rendelkezett, de ő volt a győztes.
Praktikus tanácsok
Mit jelent ez, ha fejlesztő vagy?
-
Ne képezd magad a modellt. Hacsak nem vagy OpenAI, Anthropic vagy Alibaba, a modell képzése pénzkidobás. Használj API-t.
-
A paraméterek helyett az árra koncentrálj. A 397 milliárd paraméter jól hangzik, de a felhasználóidat ez nem érdekli. Őket a válaszidő és a költség érdekli.
-
Készülj fel a migrációra. Az LLM egy árucikk, ami azt jelenti, hogy helyettesíthető. Ma GPT-t használsz, holnap Claude-ot, holnapután Qwent. Az architektúrádnak támogatnia kell ezt a váltást.
Érdekes paradoxon
Aki a legjobban ért az LLM-hez, az a legkevésbé beszél róla.
"Andrej Karpathy 240 sor tiszta Pythonban írt egy mini GPT-t. Nincs TensorFlow. Nincs PyTorch. Csak matematika. Ez azt mutatja, hogy az LLM nem varázslat – csak a következő token előrejelzése."
Amikor megérted, hogy a „következő token előrejelzése” az egész technológia lényege, sok felhajtás eltűnik. Ez nem lebecsülés. A mikrohullámú sütő is csak a vízmolekulákat melegíti fel, de megváltoztatta a konyhát.
Következő lépés
Az LLM olyanná válik, mint a JPEG: mindenhol jelen van, senki sem beszél róla, de nélkülözhetetlen.
Addig is az okos emberek a legolcsóbb beszállítót választják az árháborúban. Mert amikor a technológia áruvá válik, az egyetlen fontos dolog a költség.
