Ei parametrien säätöä, vain koodin kirjoittamista! Jeff Clunen tiimin uusi teos: Meta Agent automaattisesti kehittyvä muistimoduuli

Matkalla kohti Software 3.0:aa, tekoäly alkaa itse kirjoittaa Python-koodia kehittääkseen aivojaan.

Agenttien kehityksen syvissä vesissä muisti (Memory) on aina ollut väistämätön kipupiste.

Vaikka perusmallien kyvyt ovat yhä vahvemmat, ne ovat päättelyprosessissa pohjimmiltaan tilattomia (Stateless), mikä rajoittaa agentin kykyä kerätä kokemusta jatkuvasti.

Alan nykyiset valtavirran ratkaisut muistin käsittelyyn, olivatpa ne sitten RAG tai liukuvan ikkunan tiivistelmät, ovat pohjimmiltaan edelleen ihmisen suunnittelemien heurististen sääntöjen vaiheessa.

Tällainen manuaalisesti tehty muistimoduuli on erittäin hauras ja vaikeasti siirrettävissä. Dialogijärjestelmille huolellisesti säädetyt Promptit ja hakulogiikka epäonnistuvat usein suoraan pitkän aikavälin suunnittelutehtävissä (kuten ALFWorld) tai monimutkaisissa strategiapelissä.

Tämän ongelman ratkaisemiseksi UBC:n professori ja entinen OpenAI:n tutkija Jeff Clunen tiimi on antanut nörttimäisen ratkaisun.

Koska ei tiedetä, mikä muistirakenne on paras, annetaan agentin itse kirjoittaa Python-koodia sen suunnittelemiseksi.

Tämä on juuri julkaistu ALMA (Automated meta-Learning of Memory designs for Agentic systems).

ADAS:sta ALMA:aan: Koodipohjainen automaattinen suunnittelu

ALMA on jatkoa tiimin viimeaikaiselle suosimille tekoälyn luomien algoritmitekniikoiden linjalle.

ADAS (Automated Design of Agentic Systems) -järjestelmässä tiimi todisti, että koodi on tehokkaampi hakutila kuin hermoverkkojen painot tai Soft Promptit agenttiarkkitehtuurin suunnittelussa. Koodilla on Turing-täydellisyys ja erittäin vahva selitettävyys.

Myöhemmin DGM (Darwin Gödel Machine) -järjestelmässä tiimi esitteli evoluutioalgoritmien avoimen tutkimuksen konseptin, ylläpitäen suunnitteluarkistoa ja kannustaen mallia tutkimaan uusia ratkaisuja.

ALMA perii ADAS:n koodinluontiparadigman ja DGM:n evoluutiostrategian, keskittäen sovellusalueen agenttijärjestelmän eniten ihmisen kokemukseen luottavaan komponenttiin – muistiin.

ALMA:n toimintamekanismi

ALMA:n toimintamekanismi on standardi meta-oppimisen suljettu silmukka. Meta Agent ei enää käsittele tehtäviä suoraan, vaan on vastuussa ohjelmoinnista. Prosessi sisältää neljä vaihetta:

• Ideointi: Analysoi nykyistä muistisuunnitteluarkistoa ja ideoi parannuksia historiallisen suorituskyvyn perusteella
• Suunnittelu: Muunna ideat pseudokoodilogiikaksi
• Toteutus: Kirjoita suoritettavaa Python-koodia, määrittele ydinfunktiot
• Arviointi: Ota luotu koodi käyttöön hiekkalaatikko-ympäristössä tehtävien suorittamiseksi ja palauta suorituskykymittarit

Evoluutioprosessissa ALMA luo valtavan suunnittelupuun. Iterointivaiheiden lisääntyessä luotu muistikoodi kehittyy vähitellen yksinkertaisesta tallennuslogiikasta monimutkaiseksi kognitiiviseksi arkkitehtuuriksi.

Kehittyneet muistirakenteet

ALMA:n luomat muistisuunnitelmat osoittivat suurta vaihtelua eri tehtävissä:

• MiniHack (luolaseikkailu): Suunnitteli Risk and Interaction -moduulin, joka tallentaa nimenomaisesti verenhukkaan johtavat toiminnot ja hirviöiden aggressiivisuuden
• Baba Is AI (logiikkaongelma): Suunnitteli Strategy Libraryn, joka tallentaa tasojen läpäisemiseen tarvittavat sääntöyhdistelmät

Tämä osoittaa, että tekoäly pystyy tunnistamaan tehtävän ominaisuudet: selviytymispelien on keskityttävä riskeihin ja pulmapelien sääntöjen abstraktioon.

Kokeelliset tulokset

ALMA:a verrattiin valtavirran peruslinjoihin neljässä ympäristössä: TextWorld, ALFWorld, MiniHack ja Baba Is AI.

GPT-5-mini-mallissa ALMA:n keskimääräinen onnistumisprosentti oli 53,9 %, mikä on parempi kuin G-Memory (46,0 %) ja Trajectory Retrieval (48,6 %).

Kustannustehokkuuden kannalta ALMA kulutti keskimäärin vain 1 319 tokenia, kun taas Trajectory Retrieval kulutti jopa 9 149 tokenia ja G-Memory saavutti myös 6 055 tokenia. ALMA saavutti paremman suorituskyvyn vain noin 1/7–1/5 kustannuksilla.

Loppusanat

ALMA osoittaa mahdollisuuden siirtyä Software 2.0:sta (hermoverkot) Software 3.0:aan (tekoälyä luovat algoritmit).

Agenttien kehityksessä muistimoduulien suunnittelu on pitkään luottanut insinöörien intuitioon. ALMA todistaa, että meta-oppimisen ja koodin luomisen avulla tekoäly pystyy automaattisesti löytämään optimaalisen muistiarkkitehtuurin tietyn ympäristön perusteella.

Resurssilinkit

• Tutkimuspaperi: https://arxiv.org/pdf/2602.07755
• Koodi: https://github.com/zksha/alma
• Projektin kotisivu: https://yimingxiong.me/alma