Ciljna publika: Razvijalci, ki uporabljajo orodja za programiranje z umetno inteligenco (kot so Cursor, Windsurf, trae...) in tehnični vodje, ki se ne zavedajo stroškov umetne inteligence.

Ključna ideja: Žeton ni le preprosta obračunska enota, temveč 'vir pozornosti' in 'računalniška valuta'. Zloraba načina Agent in zanemarjanje upravljanja konteksta dejansko prikrivata strateško lenobo (ne razmišljanje) s taktično marljivostjo (pustiti AI, da se brezglavo trudi).

Vaši 'stroški za AI' so lahko višji od vaše plače

Pred nekaj dnevi sem preveril svoj račun za žetone. Ko sem videl številko, sem bil nekoliko presenečen: 10 milijonov žetonov. Upoštevajte, da to ni mesečna poraba, ampak dnevna.

Mislil sem, da je to že preveč. Kasneje sem objavil kratek video o izračunu žetonov.

Kot rezultat tega sem v komentarjih videl, kaj pomeni 'nebo nad nebom'.

Spodnja slika je posnetek zaslona dnevne porabe dveh sto milijonov žetonov uporabnika interneta 'Dnevnik starega K':

Sprva sem mislil, da je to morda osamljen primer, toda ko je veliko uporabnikov interneta reklo, da porabijo 100 milijonov na dan, sem spoznal, da je to zelo pogost pojav.

Kaj pomeni sto milijonov žetonov? Če izračunamo na podlagi običajne ravni zaračunavanja 'nekaterih glavnih komercialnih modelov' (vhod/izhod se zaračunavata ločeno, skupaj grobo ocenjeno na 10 USD / milijon žetonov), potem je ta dan pokurjenih 1000 USD. En dan pokurjenih 7000 juanov. Plača mnogih programerjev začetnikov morda ne bo zadostovala za en dan 'razmišljanja' umetne inteligence.

(Opomba: Razlike v cenah med različnimi modeli/ponudniki so velike, cena na enoto za vnos in izhod pa se pogosto razlikuje. Tukaj ni namen natančno izračunati na dve decimalki, ampak najprej vzpostaviti 'občutek za velikost'.)

Če želite sami ponovno izračunati, je na splošno ta formula (zanemarite posebna pravila, kot so predpomnjenje/popusti): Stroški ≈ (VhodniŽetoni / 1.000.000) × CenaNaEnoto_in + (IzhodniŽetoni / 1.000.000) × CenaNaEnoto_out

To je preveč neintuitivno. Vedno mislimo, da je AI poceni, OpenAI pa bo celo znižal cene. Toda zakaj se poraba žetonov v dejanskem inženiringu eksponentno povečuje?

Danes bomo poglobljeno analizirali logiko za tem 'črno luknjo žetonov' in kako lahko ustavimo izgube.

I. Zakaj žetoni 'eksponentno eksplodirajo'?

Veliko bratov sploh nima pojma o velikosti žetonov. Mislijo: 'Oh, ali ni to samo nekaj odlomkov kode? Koliko jih je lahko?'

1. Izračunajte jasno

Najprej vzpostavimo kvantitativno zaznavo, ki je uporabna v inženiringu. Najprej povejmo stvari bolj natančno: Žeton ni število besed, niti število znakov. Je 'kodni fragment', ki ga model razdeli iz besedila. Različni modeli uporabljajo različne tokenizerje, zato lahko podamo samo interval, ne pa konstante, ki bi veljala za vse.

Spodnje številke lahko obravnavate kot 'merilno palico' (namen je oceniti velikost, oceniti stroške in sprejeti odločitve o zaustavitvi izgube):

• 1 kitajski znak: Pogosto 1–2 žetona (pogoste besede so bližje 1, redke besede/kombinacije pa lažje dosežejo 2–3)

• 1 angleška beseda: Pogosto okoli 1,2–1,5 žetona (za grobo oceno lahko uporabite tudi 1,3)

• 1 vrstica kode ≈ 10–50 žetonov (vključno z zamiki, komentarji, deklaracijami tipov)

• Jedrnata poslovna logika ≈ 12–20 žetonov

• Z anotacijami tipov, vmesnikom, JSDoc, 4 presledki za zamik ≈ 20–35 žetonov

• Z veliko uvozi / dekoratorji / komentarji ≈ 30–50+ žetonov

• 1 izvorna datoteka (400–600 vrstic, sodoben projekt TS/Java) ≈ 4.000–24.000 žetonov je zelo pogosto (mediana ≈ 12.000–18.000)

• 1 srednje velik projekt (100–200 izvornih datotek, samo src/, brez node_modules/ / generirane kode)

• 'Prebrati' osnovno izvorno kodo 'enkrat' pogosto pomeni začetek z milijonom žetonov

• Če dodate še teste, konfiguracije, skripte, deklaracije odvisnosti in dnevnike, ni nenavadno, da dosežete desetine milijonov žetonov

Današnji projekti front-enda so TypeScript, polni zapletenih definicij vmesnikov; ali pa Java, ki pogosto vsebuje desetine vrstic uvoza. Ta 'boilerplate koda' je dejansko morilec žetonov. Srednje velik projekt, ki ima 100 datotek, lahko neposredno porabi 1 milijon žetonov, samo če AI 'prebere kodo'.

2. Učinek 'snežne kepe' žetonov

Najbolj zastrašujoča stvar pri porabi žetonov ni enkraten pogovor, ampak kopičenje konteksta v več krogih pogovorov.

Mehanizem LLM je brez stanja. Da bi si AI zapomnil, kaj ste rekli v prejšnji vrstici, sistem običajno zapakira 'sistemski poziv + zgodovino pogovorov + odlomke datotek/kode, ki ste jih citirali + izhod klica orodja (npr. rezultate iskanja, dnevnike napak)' in jih pošlje modelu. Mislite, da ste postavili samo eno vprašanje, vendar dejansko večkrat plačujete za 'celoten kontekstni paket'.

• 1. krog: Pošljite 10.000 žetonov, AI odgovori s 1.000.

• 2. krog: Pošljite (10.000 + 1.000 + novo vprašanje), AI odgovori...

• 10. krog: Vaš kontekst se je morda že razširil na 200.000 žetonov.

V tem času, tudi če samo vprašate 'pomagaj mi spremeniti ime spremenljivke', porabite stroške 200.000 žetonov. Zato se vam zdi, da niste storili nič, vendar vaš račun narašča.

Še huje je: Način Agent bo 'proaktivno bral datoteke'. Če rečete 'pomagaj mi optimizirati uporabniški modul', bo morda najprej pregledal ustrezne imenike, nato sledil odvisnostim, nato konfiguraciji in nato testom... Ne lenari, ampak 'vestno izpolnjuje privzeto strategijo', privzeta strategija pa je pogosto: več branja, več poskusov, več iteracij.

II. Dve vrsti 'lenobe' uničujeta vaše inženirske sposobnosti

Po pregledu tistih 'milijonarjev' v komentarjih sem ugotovil, da korenine eksplozije žetonov niso samo v mehanizmu porabe AI, ampak so tesno povezane tudi s človeško lenobo.

Spodaj sta dve tipični vrsti 'miselne lenobe'.

Lenoba 1: Tip 'šefa, ki se ne vmešava'

Ali imate tudi vi takšno miselnost:

• 'Ta stari projekt je preveč kaotičen, ne želim si ogledati logike, kar prepustim AI.'

• 'Cursor je izdal način Agent, super, naj sam popravi napake.'

Torej predate celotno mapo src agentu in izdate nejasno navodilo: 'Pomagaj mi optimizirati uporabniški modul.' Agent začne delovati:

• Prebere 50 datotek (porabi 500.000).

• Ugotovi, da se sklicuje na utils, in gre brati pripomočke (porabi 200.000).

• Poskuša spremeniti, pride do napake, prebere dnevnike napak (porabi 100.000).

• Poskuša popraviti, spet pride do napake...

Divje poskuša in se moti, divje porablja žetone. Kaj pa vi? Brskate po telefonu in mislite, da ste zelo učinkoviti. Resnica je: za 'psevdo učinkovitost' ste plačali z denarjem, kar je ustvarilo kup kode, ki je kasneje ne morete vzdrževati.

Bolj strokovno povedano, tukaj sta dve plasti izgube:

• Plast stroškov: Vhodni žetoni postanejo večji, število iteracij se poveča, stroški se linearno seštevajo

• Inženirska plast: Izgubite kontekst in moč odločanja, na koncu pa vam ostane samo nenadzorovan sistem, ki 'deluje'

Lenoba 2: Tip 'vse v enem'

Kako predate napako AI? Ali ne kopirate neposredno celotne konzole napak s Ctrl+A ali pa pustite AI, da sam poišče z @Codebase?

To se imenuje 'vse v enem'. Ne želite si poiskati jedra problema, ne želite si filtrirati ključnih odlomkov kode. 99 % neveljavnih informacij (šum) in 1 % veljavnih informacij (signal) vržete v AI.

AI je kot ojačevalnik.

• Če mu daste jasno logiko (signal), ojača vašo modrost, porabi manj žetonov in doseže dobre rezultate.

• Če mu daste zmedo in nejasnost, ojača vašo zmedo, žetoni divje naraščajo in ustvarjajo smeti.

III. Rešitev: Kako učinkovito uporabljati AI in zmanjšati porabo žetonov

Če želite obdržati svojo denarnico, je pomembneje, da obdržite svojo inženirsko kontrolo, zato moramo spremeniti način sodelovanja z AI.

1. Načelo minimalnega konteksta

To je prvo načelo programiranja z AI. AI vedno dajte samo najmanjši nabor kode, ki ustreza trenutnemu problemu.

V Cursorju dobro uporabite te operatorje:

• @File: Sklicujte se samo na ustrezne datoteke, ne na celotno mapo.

• Ctrl+L Izberite kodo: Pošljite samo 50 vrstic kode, ki jih je izbral kurzor, ne pa celotne datoteke.

• @Docs: Za knjižnice tretjih oseb se sklicujte na dokumentacijo, namesto da bi ugibali.

To je SOP, ki ga pogosto uporabljam, je strukturiran in ga je mogoče ponovno uporabiti (če ga sledite, se bo število žetonov vidno zmanjšalo):

Pomen tega odlomka je: Pri sodelovanju z AI bodite pozorni na učinkovitost in natančnost. Posebni koraki so naslednji:

• Najprej določite cilj: Jedrnato in natančno povejte AI trenutni problem in želeni rezultat, ne pustite mu, da ugiba.

• Poenostavite ponovitev problema: Če lahko uporabite najpreprostejšo metodo za ponovitev problema, ne uporabljajte zapletene metode, prilepite najmanj in ključno kodo, ne kopičite velike količine nepomembne vsebine.

• Zagotovite najmanj potrebne informacije: Dajte samo 1-3 ustrezne datoteke, ključne funkcije in prvih nekaj vrstic sklada napak, ne pa vseh informacij.

• Zahtevajte vrnitev sprememb: Pustite AI, da vam pove samo, kje spremeniti in zakaj spremeniti, ne pustite mu, da obsežno prepiše celotno kodo.

• Na koncu sami preverite: Izvedite najpreprostejšo preveritev, da zagotovite, da spremembe ne vplivajo na druga mesta.

Skratka, uporabite najmanj in ključne informacije, da AI opravi delo, in obdržite končni nadzor in presojo.

2. Tudi najpomembnejše: Najprej razmislite, nato pozovite, najprej načrtujte, nato ukrepajte

Preden pritisnete Enter, se prisilite, da se ustavite za 10 sekund in si zastavite tri vprašanja:

• Kateri problem rešujem? (Določite meje)

• Kateri ključni moduli so vključeni v ta problem? (Filtrirajte kontekst)

• Kako bi to napisal sam? (Zagotovite ideje)

Vi ste 1, AI je 0 za vami. Če 1 ne more stati, je 0 za vami, ne glede na to, koliko jih je, samo nesmiselna poraba.

Nekaj iskrenih besed

Zgodba o 'sto milijonih žetonov na dan' se morda ne bo zgodila vsem. Toda skoraj vsak programer, ki uporablja programiranje z AI, bo doživel vedenje zapravljanja žetonov.

Čeprav AI olajša programiranje, še vedno obstajajo ovire. Tisti, ki ga znajo resnično uporabljati, bodo imeli krila.

Prej je vaša slaba koda samo 'gnusila' sodelavce. Zdaj bo vaša lenoba neposredno postala številka na računu, ki vas bo kaznovala z naraščajočimi stroški. Zato ne bodite "odsotni lastnik". Bodite AI arhitekt, ki globoko razmišlja, natančno izraža in načrtuje pred delovanjem. To je tudi naša največja nenadomestljivost v tej dobi.