Tikslinė auditorija: kūrėjai, naudojantys AI programavimo įrankius (pvz., Cursor, Windsurf, trae...) ir techniniai vadovai, kuriems trūksta supratimo apie AI sąnaudas.

Pagrindinė mintis: Token'ai yra ne tik paprasti atsiskaitymo vienetai, bet ir „dėmesio ištekliai“ bei „skaičiavimo galios valiuta“. Piktnaudžiavimas Agent režimu, konteksto valdymo ignoravimas iš tikrųjų yra taktinio uolumo (leidžiant AI beprasmiškai klaidžioti) maskavimas strateginiu tingumu (pačiam negalvojant).

Jūsų „AI išlaidos“ gali būti didesnės nei atlyginimas

Prieš kelias dienas patikrinau savo Token'ų sąskaitą. Pamatęs tą skaičių, šiek tiek nustebau: 10 milijonų Token'ų. Atkreipkite dėmesį, tai nėra mėnesio sunaudojimas, tai yra diena.

Maniau, kad tai labai neįprasta. Vėliau paskelbiau trumpą vaizdo įrašą apie Token'ų skaičiavimą.

Rezultatas – komentarų skiltis leido man pamatyti, kas yra „dangus danguje“.

Žemiau esantis paveikslėlis yra vartotojo „老K的日常“ ekrano kopija, kurioje užfiksuotas 200 milijonų Token'ų sunaudojimas per dieną:

Iš pradžių maniau, kad tai gali būti vienetinis atvejis, bet kai daugelis vartotojų komentavo, kad sunaudoja 100 milijonų per dieną, supratau, kad tai labai dažnas reiškinys.

Kas yra 100 milijonų Token'ų? Jei skaičiuotume pagal įprastą „kai kurių pagrindinių komercinių modelių“ atsiskaitymo lygį (įvestis/išvestis apmokestinamos atskirai, apytiksliai įvertinant 10 USD / milijoną Token'ų), tai per dieną sudeginama 1000 USD. Per dieną sudeginama 7000 juanių. Daugelio pradedančiųjų programuotojų mėnesio atlyginimo gali nepakakti AI „mąstymui“ per šią dieną.

(Pastaba: skirtingų modelių/tiekėjų kainos labai skiriasi, o įvesties ir išvesties vienetų kainos taip pat dažnai skiriasi. Čia tikslas nėra apskaičiuoti iki dešimtosios dalies po kablelio, o pirmiausia nustatyti „dydžio pojūtį“.)

Jei norite patys perskaičiuoti, paprastai yra tik viena formulė (ignoruojant talpyklą/nuolaidas ir kitas specialias taisykles): Kaina ≈ (Įvesties Token'ai / 1 000 000) × Kaina_in + (Išvesties Token'ai / 1 000 000) × Kaina_out

Tai labai prieštarauja intuicijai. Mes visada manome, kad AI yra pigus, OpenAI netgi ketina sumažinti kainas. Bet kodėl realiame inžineriniame darbe Token'ų sunaudojimas eksponentiškai sprogsta?

Šiandien išsamiai išanalizuosime šios „Token'ų juodosios skylės“ logiką ir kaip turėtume sustabdyti nuostolius.

I. Kodėl Token'ai „eksponentiškai sprogsta“?

Daugelis brolių visiškai nesuvokia Token'ų apimties. Jie mano: „O, tai tik keli kodo fragmentai? Kiek jų gali būti?“

1. Apskaičiuokime aiškiai

Pirmiausia sukurkime kiekybinį suvokimą, kuris būtų pakankamas inžineriniam naudojimui. Pasakykime tai griežtai: Token'as nėra žodžių skaičius, nei simbolių skaičius. Tai yra „užkoduotas fragmentas“, kurį modelis suskaido iš teksto. Skirtingi modeliai naudoja skirtingus tokenizer'ius, todėl galima pateikti tik intervalą, o ne „visur tinkamą“ konstantą.

Šiuos skaičius laikykite „įvertinimo liniuote“ (tikslas yra įvertinti dydį, prognozuoti išlaidas, priimti nuostolių stabdymo sprendimus):

• 1 kinų hieroglifas: dažniausiai 1–2 Token'ai (dažni hieroglifai arčiau 1, retai pasitaikantys hieroglifai/kombinacijos lengviau pasiekia 2–3)

• 1 angliškas žodis: dažniausiai apie 1,2–1,5 Token'ų (apytiksliai įvertinimui galima naudoti 1,3)

• 1 kodo eilutė ≈ 10–50 Token'ų (įskaitant įtraukas, komentarus, tipo deklaracijas)

• Glausta verslo logika ≈ 12–20 Token'ų

• Su tipo anotacijomis, interface, JSDoc, 4 tarpų įtraukomis ≈ 20–35 Token'ų

• Su daugybe import / dekoratorių / komentarų ≈ 30–50+ Token'ų

• 1 šaltinio failas (400–600 eilučių, šiuolaikinis TS/Java projektas) ≈ 4 000–24 000 Token'ų yra labai dažnas (mediana ≈ 12 000–18 000)

• 1 vidutinio dydžio projektas (100–200 šaltinio failų, skaičiuojant tik src/, neįskaitant node_modules/ / generuoto kodo)

• Pagrindinio šaltinio kodo „peržiūra“ dažnai prasideda nuo milijono Token'ų

• Jei kartu įtrauksite testus, konfigūracijas, scenarijus, priklausomybių deklaracijas, žurnalus, 10 milijonų Token'ų taip pat nėra neįprasta

Dabartiniai front-end projektai yra TypeScript, pilni sudėtingų Interface apibrėžimų; arba Java, kur importai dažnai užima dešimtis eilučių. Šis „šabloninis kodas“ iš tikrųjų yra Token'ų žudikas. Vidutinio dydžio projektas, turintis 100 failų, vien tik AI „perskaitymas kodo“ gali tiesiogiai sunaikinti 1 milijoną Token'ų.

2. Token'ų „sniego gniūžtės“ efektas

Baisiausias Token'ų sunaudojimas yra ne vienkartinis pokalbis, o konteksto kaupimasis daugiapakopiuose pokalbiuose.

LLM mechanizmas yra būsenos neturintis. Kad AI prisimintų, ką pasakėte anksčiau, sistema paprastai supakuoja „sistemos raginimą + pokalbių istoriją + jūsų nurodytus failus/kodo fragmentus + įrankių iškvietimo išvestį (pvz., paieškos rezultatus, klaidų žurnalus)“ ir išsiunčia jį modeliui. Jūs manote, kad uždavėte tik vieną klausimą, bet iš tikrųjų pakartotinai mokate už „visą konteksto paketą“.

• 1-as raundas: išsiunčiama 10 000 Token'ų, AI atsako 1 000.

• 2-as raundas: išsiunčiama (10 000 + 1 000 + naujas klausimas), AI atsako...

• 10-as raundas: jūsų kontekstas gali būti išsipūtęs iki 200 000 Token'ų.

Šiuo metu, net jei užduosite klausimą „padėkite man pakeisti kintamojo pavadinimą“, sunaudosite 200 000 Token'ų vertės mokestį. Štai kodėl jaučiatės, kad nieko nedarote, bet sąskaita auga.

Dar blogiau: Agent režimas „aktyviai skaito failus“. Jūs pasakote „padėkite man optimizuoti vartotojo modulį“, jis gali pirmiausia nuskaityti atitinkamus katalogus, tada sekti priklausomybes, tada sekti konfigūracijas, tada sekti testus... Jis nevengia darbo, jis „atsakingai vykdo numatytąją strategiją“, o numatytoji strategija dažnai yra: daugiau skaityti, daugiau bandyti, daugiau kartoti.

II. Du „tingumo“ tipai griauna jūsų inžinerinius gebėjimus

Peržiūrėję komentarų skiltyje esančių „100 milijonų brolių“ situaciją, pastebėjau, kad Token'ų šuolio priežastis yra ne tik AI sunaudojimo mechanizmo problema, bet ir glaudžiai susijusi su žmogaus tingumu.

Žemiau yra du tipiški „mąstymo tingumo“ tipai.

Tingumas vienas: atsiribojęs vadovas

Ar jums taip pat būdinga tokia nuostata:

• „Šis senas projektas yra per daug netvarkingas, aš tingiu žiūrėti į logiką, tiesiog perduosiu jį AI.“

• „Cursor išleido Agent režimą, puiku, leiskite jam pačiam taisyti klaidas.“

Taigi, jūs perduodate visą src aplanką Agent'ui ir pateikiate neaiškų nurodymą: „Padėkite man optimizuoti vartotojo modulį.“ Agent'as pradeda dirbti:

• Jis perskaito 50 failų (sunaudoja 500 000).

• Jis nustato, kad yra nuoroda į utils, todėl eina skaityti įrankių klases (sunaudoja 200 000).

• Jis bando modifikuoti, įvyksta klaida, perskaito klaidų žurnalus (sunaudoja 100 000).

• Jis bando pataisyti, vėl įvyksta klaida...

Jis beprotiškai bando ir klysta, beprotiškai sunaudoja Token'us. O jūs? Jūs naršote telefonu, manydami, kad esate labai efektyvus. Tiesa ta, kad jūs iškeičiate pinigus į „pseudoefektyvumą“, sukurdami krūvą kodo, kurio vėliau negalėsite prižiūrėti.

Profesionaliau tariant, čia yra du nuostoliai:

• Išlaidų lygmuo: įvesties Token'ai didėja, iteracijų skaičius didėja, išlaidos didėja tiesiškai

• Inžinerinis lygmuo: jūs prarandate kontekstą ir sprendimų priėmimo teisę, galiausiai lieka tik „veikia ir gerai“ nekontroliuojama sistema

Tingumas du: viskas sumaišoma

Kai susiduriate su klaida, kaip ją perduodate AI? Ar tiesiogiai kopijuojate visą klaidų konsolę Ctrl+A, ar tiesiogiai @Codebase leidžiate AI pačiam ieškoti?

Tai vadinama „viskas sumaišoma“. Jūs tingite nustatyti problemos esmę, tingite filtruoti pagrindinius kodo fragmentus. Jūs įmetate 99% netinkamos informacijos (triukšmo) ir 1% tinkamos informacijos (signalo) į AI.

AI yra tarsi stiprintuvas.

• Jūs jam pateikiate aiškią logiką (signalą), jis sustiprina jūsų išmintį, Token'ų sunaudojama mažai, efektas geras.

• Jūs jam pateikiate chaosą ir neaiškumą, jis sustiprina jūsų chaosą, Token'ai šauna į viršų, sukuriamas šlamštas.

III. Sprendimas: kaip efektyviai naudoti AI, sumažinti Token'ų sunaudojimą

Norint apsaugoti savo piniginę, svarbiausia apsaugoti savo inžinerinę kontrolę, turime pakeisti bendradarbiavimo su AI modelį.

1. Minimalaus konteksto principas

Tai yra pirmasis AI programavimo principas. Visada pateikite AI tik minimalų kodo rinkinį, atitinkantį dabartinę problemą.

Cursor naudokite šiuos operatorius:

• @File: nurodykite tik susijusius failus, o ne visą aplanką.

• Ctrl+L Pasirinkite kodą: nusiųskite į Chat tik 50 eilučių kodo, kurį pasirinko žymeklis, o ne visą failą.

• @Docs: trečiųjų šalių bibliotekoms nurodykite dokumentus, o ne leiskite jam spėlioti.

Tai yra mano dažnai naudojamas, struktūrizuotas, pakartotinai naudojamas SOP (jei darysite taip, Token'ai akivaizdžiai sumažės):

Ši frazė reiškia: bendradarbiaujant su AI, reikia atkreipti dėmesį į efektyvumą ir tikslumą. Konkrečios praktikos yra tokios:

• Pirmiausia aiškiai apibrėžkite tikslą: glaustai pasakykite AI apie dabartinę problemą ir norimą rezultatą, neleiskite jam pačiam spėlioti.

• Supaprastinkite problemos atkūrimą: jei galite atkurti problemą paprasčiausiu metodu, nenaudokite sudėtingo metodo, įklijuokite mažiausiai ir svarbiausią kodą, nekraukite didelio kiekio nesusijusio turinio.

• Pateikite minimalią reikiamą informaciją: pateikite tik 1–3 susijusius failus, pagrindines funkcijas ir pirmąsias kelias klaidų dėklo eilutes, nereikia visos informacijos.

• Reikalaukite grąžinti pakeitimus: leiskite AI pasakyti tik tai, kas pakeista, kodėl pakeista, neleiskite jam perrašyti viso kodo dideliu mastu.

• Galiausiai patys patikrinkite: atlikite paprasčiausią patikrinimą, kad įsitikintumėte, jog pakeitimai nepaveikė kitų vietų.

Trumpai tariant, naudokite mažiausiai ir svarbiausią informaciją, kad AI atliktų darbą, ir pasilikite galutinę kontrolę bei sprendimų priėmimo teisę.

2. Taip pat svarbiausia: pirmiausia pagalvokite, tada raginkite, pirmiausia planuokite, tada veikite

Prieš paspausdami Enter, priverskite save sustoti 10 sekundžių ir užduokite sau tris klausimus:

• Kokią problemą sprendžiu? (apibrėžkite ribas)

• Kuriuos pagrindinius modulius apima ši problema? (filtruokite kontekstą)

• Jei rašyčiau pats, kaip rašyčiau? (pateikite idėjas)

Jūs esate 1, AI yra 0 už jo. Jei 1 negali stovėti, kuo daugiau 0 už jo, tuo daugiau beprasmiško sunaudojimo.

Pasakysiu keletą nuoširdžių žodžių

„100 milijonų Token'ų per dieną“ istorija gali nenutikti kiekvienam. Tačiau Token'ų švaistymo elgesį patiria beveik kiekvienas programuotojas, naudojantis AI programavimą.

Nors AI palengvina programavimą, vis dar yra kliūčių. Tik tie, kurie tikrai moka naudotis, gali gauti sparnus.

Anksčiau jūsų blogas kodas tik „erzindavo“ kolegas. Dabar jūsų tingumas tiesiogiai virsta skaičiais sąskaitoje, baudžiant save didėjančiomis išlaidomis.Taigi, nebūk "atsitraukęs vadovas". Būkite gilus mąstytojas, tikslus išraiškos specialistas, planuojantis prieš veiksmą AI architektas. Tai taip pat yra didžiausias mūsų nepakeičiamumas šioje eroje.