107 puslapių RAG ir Agent & LLM atminties apžvalga
Šiandien dalinuosi 107 puslapių technine apžvalga iš Renmin universiteto, Fudan universiteto, Pekino universiteto ir kt. pavadinimu „Atmintis AI agentų amžiuje: formų, funkcijų ir dinamikos apžvalga“.
Projekto adresas: https://github.com/Shichun-Liu/Agent-Memory-Paper-List
Straipsnio adresas: https://arxiv.org/pdf/2512.13564
Per pastaruosius dvejus metus matėme nuostabią didelių kalbos modelių (LLM) evoliuciją į AI agentus. Nuo gilių tyrimų iki programinės įrangos inžinerijos, nuo mokslo atradimų iki daugelio agentų bendradarbiavimo, šie agentai, pagrįsti pagrindiniais modeliais, stumia dirbtinio bendro intelekto (AGI) ribas.
Tačiau iškyla pagrindinis klausimas: kaip agentai gali nuolat mokytis ir prisitaikyti, kai statiniai LLM parametrai negali būti greitai atnaujinami?
Atsakymas yra – atmintis (Memory).
"Atmintis yra pagrindinė galimybė paversti statinius LLM į agentus, kurie gali nuolat prisitaikyti bendraudami su aplinka."
1 paveiksle parodytas vieningas klasifikavimo pagrindas, kurį siūlo straipsnis, organizuojantis agentų atmintį pagal tris dimensijas: formas (Forms), funkcijas (Functions), dinamiką (Dynamics), ir atvaizduojantis reprezentatyvias sistemas į šią klasifikavimo sistemą.
Straipsnyje taip pat aiškiai atskiriami Agent Memory ir kelios glaudžiai susijusios, bet iš esmės skirtingos sąvokos: LLM atmintis, paieškos patobulintas generavimas (RAG) ir konteksto inžinerija. Nors jie visi yra susiję su informacijos saugojimu ir panaudojimu, jie turi esminių skirtumų tiksluose, mechanizmuose ir taikymo scenarijuose.
Agentų atminties technologijos
-
Self-Evolving Memory: Memento, H2R
-
Multimodal Memory: Ella, ViloMem, M3-Agent
-
Latent Memory: MemoryLLM, M+, MemGen
-
Parametric Memory: Retroformer, Early experience
-
RL-enabled Memory: MemAgent, RMM, MemSearcher, MEM1, Mem-alpha, Memory-R1
Agentų atmintis vs. RAG
RAG susijusios technologijos:
-
Modular RAG: FlashRAG, ComposeRAG
-
Graph RAG: LightRAG, HippoRAG
-
Agentic RAG: PlanRAG, Self-RAG
RAG ir agentų atmintis apima informacijos gavimą iš išorinės saugyklos, siekiant pagerinti modelio galimybes, tačiau tarp jų yra esminių skirtumų projektavimo filosofijoje:
SavybėRAGAgentų atmintis Pagrindinis tikslasPateikti atitinkamą pagrindinę informaciją dabartinei užklausaiNuolatinis mokymasis ir adaptyvus elgesys laikui bėgant Informacijos šaltinisPaprastai statinė, iš anksto sukurta žinių bazėDinamiškai generuojama, individualizuota informacija iš paties agento sąveikos patirties Gavimo paleidiklisPasyviai suaktyvinamas vartotojo užklausaAgentas aktyviai nusprendžia, kada ir ką gauti Informacijos atnaujinimasŽinių bazė paprastai atnaujinama neprisijungusAtnaujinama prisijungus, nuolat ir selektyviai Grįžtamasis ryšysNėra tiesioginio grįžtamojo ryšioMechanizmas sudaro uždarą ciklą su sąveika su aplinka
Pagrindinis skirtumas: RAG yra žinių plėtimo įrankis, o agentų atmintis yra mokymosi mechanizmas. RAG atsako į klausimą „Ką aš žinau“, o agentų atmintis atsako į klausimą „Ko aš išmokau“.
Agentų atmintis vs. LLM atmintis
LLM atminties susijusios technologijos:
-
Attention KV management: Mixture-of-Memory
-
Long context processing: Mamba, Memformer, MoA, Sparseformer, NSA
DimensijaLLM atmintisAgentų atmintis ApibrėžimasŽinios, įtrauktos į modelio parametrus, arba laikina informacija konteksto langeIšorinė sistema, palaikanti agento nuolatinę sąveiką su aplinka, mokymąsi tarp užduočių ir ilgalaikį prisitaikymą Laiko skalėApribota iš anksto apmokytais duomenimis arba dabartiniu pokalbio kontekstuApima kelias užduotis, sesijas, palaiko mokymąsi visą gyvenimą AtnaujinamumasParametrų atnaujinimo kaina yra didelė, konteksto informacija yra lakiPalaiko efektyvų, selektyvų dinaminį atnaujinimą ir evoliuciją AktyvumasPasyviai reaguoja į užklausasAktyviai nusprendžia, kokią informaciją saugoti, atnaujinti ir gauti Ryšys su aplinkaNėra tiesioginės sąveikos su aplinkaGiliai integruotas aplinkos grįžtamasis ryšys, palaiko interaktyvų mokymąsi
Pagrindinis skirtumas: LLM atmintis iš esmės yra statinė (parametrai fiksuoti) arba trumpalaikė (kontekstas ribotas), o agentų atmintis yra dinamiška, ilgalaikė ir susieta su aplinka.
Agentų atmintis vs. Konteksto inžinerija
Konteksto inžinerijos susijusios technologijos:
-
Tool-integrated reasoning: ReTool, ToolLLM, Toolformer, VTool-R1, ToRL
-
Tool selection: AutoTool, VisTA
-
Communication protocol: ANP, A2A, MCP, Agora
AspektasKonteksto inžinerijaAgentų atmintis Dėmesio centrasĮvesties optimizavimas vienam raundui arba dabartinei užduočiaiInformacijos išsaugojimas ir panaudojimas tarp kelių raundų ir užduočių Laiko dimensijaDabartinė sesijaIlgalaikė istorija Informacijos pasirinkimasRankiniu būdu sukurta arba heuristinės taisyklėsAutomatizuotas formavimo, evoliucijos ir gavimo mechanizmas Būsenos valdymasNėra ilgalaikės būsenosAiškiai palaikoma evoliucionuojanti atminties būsena
Pagrindinis skirtumas: Konteksto inžinerija yra raginimų optimizavimo technika, o agentų atmintis yra būsenos valdymo sistema. Pirmasis orientuojasi į „Ką įvesti dabar“, o antrasis – į „Ką prisiminiau praeityje, kaip tai veikia dabartį ir ateitį“.
