Ülevaade 107-leheküljelisest RAG ja Agent&LLM mälust
Täna jagan ma Renmini Ülikooli, Fudani Ülikooli, Pekingi Ülikooli jne 107-leheküljelist tehnilist ülevaadet "Memory in the Age of AI Agents: A Survey Forms, Functions and Dynamics".
Projekti aadress: https://github.com/Shichun-Liu/Agent-Memory-Paper-List
Artikli aadress: https://arxiv.org/pdf/2512.13564
Viimase kahe aasta jooksul oleme näinud suurte keelemudelite (LLM) hämmastavat arengut AI agentideks (AI Agents). Alates Deep Researchist kuni tarkvaratehnikani, teaduslikest avastustest kuni mitme agendi koostööni, need baasmudelitel põhinevad agendid nihutavad tehisintellekti (AGI) piire.
Kuid esile kerkib üks keskne küsimus: kuidas saavad agendid pidevalt õppida ja kohaneda, kui staatilisi LLM-i parameetreid ei saa kiiresti uuendada?
Vastus on – mälu (Memory).
"Mälu on võtmetähtsusega võime, mis muudab staatilised LLM-id agentideks, mis suudavad keskkonnaga suhtlemise kaudu pidevalt kohaneda."
Joonis 1 näitab artiklis esitatud ühtset klassifikatsiooniraamistikku, mis korraldab agendi mälu kolme mõõtme järgi: vormid (Forms), funktsioonid (Functions) ja dünaamika (Dynamics), ning kaardistab esinduslikud süsteemid sellesse klassifikatsioonisüsteemi.
Artiklis eristatakse selgelt ka Agent Memory ja mitmeid tihedalt seotud, kuid sisuliselt erinevaid kontseptsioone: LLM mälu, otsinguga täiustatud genereerimine (RAG) ja konteksti loomine (context engineering). Kuigi need kõik on seotud teabe salvestamise ja kasutamisega, on nende eesmärkides, mehhanismides ja rakendusstsenaariumides olulisi erinevusi.
Agendi mälutehnoloogiad
-
Self-Evolving Memory: Memento, H2R
-
Multimodal Memory: Ella, ViloMem, M3-Agent
-
Latent Memory: MemoryLLM, M+, MemGen
-
Parametric Memory: Retroformer, Early experience
-
RL-enabled Memory: MemAgent, RMM, MemSearcher, MEM1, Mem-alpha, Memory-R1
Agendi mälu vs. RAG
RAG-iga seotud tehnoloogiad:
-
Modular RAG: FlashRAG, ComposeRAG
-
Graph RAG: LightRAG, HippoRAG
-
Agentic RAG: PlanRAG, Self-RAG
RAG ja agendi mälu hõlmavad mõlemad teabe otsimist välisest salvestusruumist, et suurendada mudeli võimekust, kuid neil on disainifilosoofias olulisi erinevusi:
OmadusRAGAgendi mälu PõhieesmärkPakkuda praegusele päringule asjakohast taustteavetToetada pidevat õppimist ja adaptiivset käitumist aja jooksul Teabe allikasTavaliselt staatiline, eelnevalt ehitatud teadmistebaasDünaamiliselt genereeritud, isikupärastatud teave, mis pärineb agendi enda interaktsioonikogemusest Otsingu käivitamineKasutaja päring käivitab passiivseltAgent otsustab aktiivselt, millal ja mida otsida Teabe uuendamineTeadmistebaasi uuendatakse tavaliselt võrguühendusetaVõrgus, pidevalt ja selektiivselt uuendatakse Tagasiside tsükkelPuudub otsene tagasisidemehhanismMoodustab keskkonnaga interaktsiooni kaudu suletud ahela
Põhierinevus: RAG on teadmiste laiendamise tööriist, samas kui agendi mälu on õppemehhanism. RAG vastab küsimusele "Mida ma tean?", agendi mälu vastab küsimusele "Mida ma olen õppinud?".
Agendi mälu vs. LLM mälu
LLM mäluga seotud tehnoloogiad:
-
Attention KV management: Mixture-of-Memory
-
Long context processing: Mamba, Memformer, MoA, Sparseformer, NSA
MõõdeLLM mäluAgendi mälu MääratlusMudeli parameetrites sisalduvad teadmised või ajutine teave kontekstiaknasVäline süsteem, mis toetab agendi pidevat suhtlemist keskkonnaga, ülesanneteülest õppimist ja pikaajalist kohanemist AjasuhePiirdub eelkoolitusandmetega või praeguse dialoogi kontekstigaHõlmab mitut ülesannet ja seanssi, toetades elukestvat õppimist UuendatavusParameetrite uuendamine on kulukas, kontekstiteave on kergesti kaduvToetab tõhusat ja selektiivset dünaamilist uuendamist ja arengut AktuaalsusPäringutele reageeritakse passiivseltTeabe salvestamise, uuendamise ja otsimise üle otsustatakse aktiivselt Seotus keskkonnagaPuudub otsene interaktsioon keskkonnagaIntegreeritud sügavalt keskkonna tagasisidega, toetades interaktiivset õppimist
Põhierinevus: LLM mälu on olemuselt staatiline (parameetrid on fikseeritud) või lühiajaline (kontekst on piiratud), samas kui agendi mälu on dünaamiline, püsiv ja keskkonnaga seotud.
Agendi mälu vs. Konteksti loomine
Konteksti loomisega seotud tehnoloogiad:
-
Tool-integrated reasoning: ReTool, ToolLLM, Toolformer, VTool-R1, ToRL
-
Tool selection: AutoTool, VisTA
-
Communication protocol: ANP, A2A, MCP, Agora
AspektKonteksti loomineAgendi mälu Tähelepanu keskpunktÜhe vooru või praeguse ülesande sisendi optimeerimineTeabe püsiv säilitamine ja kasutamine mitme vooru ja ülesande jooksul Ajaline mõõdePraegune seanssPikk ajalugu Teabe valikInimese loodud või heuristilised reeglidAutomatiseeritud moodustamise, arengu ja otsimise mehhanismid OlekuhaldusPuudub püsiv olekSelgesõnaliselt hooldatakse arenevat mäluseisundit
Põhierinevus: Konteksti loomine on vihje optimeerimise tehnika, samas kui agendi mälu on olekuhaldussüsteem. Esimene keskendub küsimusele "Mida praegu sisestada?", teine keskendub küsimusele "Mida on minevikus meelde jäetud ja kuidas see mõjutab olevikku ja tulevikku?".
