Nereikia derinti parametrų, tik rašyti kodą! Jeffo Clune'o komandos naujas darbas: Meta Agent automatiškai evoliucionuoja atminties modulius

Kelias į Software 3.0, AI pradeda pats rašyti Python kodą, kad evoliucionuotų smegenis.

Agentų kūrimo giliuosiuose vandenyse atmintis (Memory) visada yra neišvengiama problema.

Nors pagrindinių modelių galimybės vis labiau stiprėja, tačiau samprotavimo procese jie iš esmės yra be būsenos (Stateless), o tai apriboja Agento gebėjimą nuolat kaupti patirtį.

Šiuo metu pagrindiniai pramonės sprendimai dėl atminties, nesvarbu, ar tai būtų RAG, ar slankiojo lango santrauka, iš esmės vis dar yra žmogaus sukurtų heuristinių taisyklių etape.

Toks rankomis sukurtas atminties modulis yra itin trapus ir sunkiai perkeliamas. Kruopščiai sureguliuoti Prompt ir paieškos logika dialogų sistemoms dažnai tiesiog neveikia ilgalaikio planavimo užduotyse (pvz., ALFWorld) arba sudėtinguose strateginiuose žaidimuose.

Siekdama išspręsti šią problemą, UBC profesorius ir buvęs OpenAI tyrėjas Jeffas Clune'as ir jo komanda pateikė geek'išką sprendimą.

Kadangi nežinome, kokia atminties struktūra yra geriausia, leiskime Agentui pačiam rašyti Python kodą, kad ją sukurtų.

Tai yra ką tik išleistas ALMA (Automated meta-Learning of Memory designs for Agentic systems).

Nuo ADAS iki ALMA: automatizuotas dizainas, pagrįstas kodu

ALMA yra šios komandos neseniai propaguotos AI generavimo algoritmo technologinės krypties tęsinys.

ADAS (Automated Design of Agentic Systems) komanda įrodė, kad kuriant Agento architektūrą, kodas yra efektyvesnė paieškos erdvė nei neuroninio tinklo svoriai arba Soft Prompts. Kodas turi Turingo pilnatvę ir yra labai lengvai paaiškinamas.

Vėliau DGM (Darwin Gödel Machine) komanda įvedė atvirojo kodo tyrinėjimo koncepciją iš evoliucinių algoritmų, prižiūrėdama dizaino archyvą ir skatindama modelį tyrinėti naujus sprendimus.

ALMA paveldi ADAS kodo generavimo paradigmą ir DGM evoliucijos strategiją, sutelkdama dėmesį į Agentų sistemų komponentą, kuris labiausiai priklauso nuo žmogaus patirties – atmintį.

ALMA veikimo mechanizmas

ALMA veikimo mechanizmas yra standartinis meta-mokymosi uždaras ciklas. Meta Agent nebe tiesiogiai apdoroja užduotis, o yra atsakingas už programavimą. Procesas apima keturis etapus:

• Idėjos generavimas: analizuojamas dabartinis atminties dizaino archyvas, remiantis istoriniais rezultatais generuojamos patobulinimo idėjos
• Planavimas: idėjos paverčiamos pseudokodo logika
• Įgyvendinimas: rašomas vykdomasis Python kodas, apibrėžiantis pagrindines funkcijas
• Vertinimas: sugeneruotas kodas įdiegiamas smėlio dėžės aplinkoje, kad būtų vykdomos užduotys, ir pateikiami našumo rodikliai

Evoliucijos procese ALMA generuos didžiulį dizaino medį. Didėjant iteracijų skaičiui, sugeneruotas atminties kodas palaipsniui evoliucionuoja nuo paprastos saugojimo logikos iki sudėtingos pažinimo architektūros.

Išvystyta atminties struktūra

ALMA sugeneruotas atminties dizainas skirtingose užduotyse pasižymėjo dideliu skirtumu:

• MiniHack (požemių tyrinėjimas): sukurtas Risk and Interaction modulis, kuris aiškiai įrašo operacijas, dėl kurių sumažėja kraujas, ir monstrų agresyvumą
• Baba Is AI (loginis galvosūkis): sukurta Strategy Library, kurioje įrašomos taisyklės, reikalingos lygiams įveikti

Tai rodo, kad AI gali atpažinti užduoties ypatybes: išgyvenimo žaidimuose reikia atkreipti dėmesį į riziką, o galvosūkių žaidimuose reikia atkreipti dėmesį į taisyklių abstrakciją.

Eksperimento rezultatai

ALMA buvo lyginama su pagrindinėmis bazinėmis linijomis keturiose aplinkose: TextWorld, ALFWorld, MiniHack, Baba Is AI.

Naudojant GPT-5-mini modelį, vidutinis ALMA sėkmės rodiklis siekė 53,9 %, o tai yra geriau nei G-Memory (46,0 %) ir Trajectory Retrieval (48,6 %).

Kalbant apie sąnaudų efektyvumą, ALMA vidutiniškai sunaudoja tik 1 319 tokenų, o Trajectory Retrieval sunaudoja net 9 149 tokenus, o G-Memory taip pat pasiekė 6 055 tokenus. ALMA pasiekė geresnį našumą su maždaug 1/7–1/5 sąnaudų.

Išvada

ALMA demonstruoja galimybę pereiti nuo Software 2.0 (Neural Networks) prie Software 3.0 (AI-Generating Algorithms).

Agentų kūrime atminties modulio dizainas ilgą laiką priklausė nuo inžinierių intuicijos. ALMA įrodė, kad per meta-mokymąsi ir kodo generavimą AI gali automatiškai atrasti optimalią atminties architektūrą, atsižvelgiant į konkrečią aplinką.

Išteklių nuorodos

• Darbas: https://arxiv.org/pdf/2602.07755
• Kodas: https://github.com/zksha/alma
• Projekto pagrindinis puslapis: https://yimingxiong.me/alma