107 lappušu RAG un Agent&LLM atmiņas apskats
Šodien dalīšos ar 107 lappušu tehnisko apskatu no Renmin universitātes, Fudan universitātes, Pekinas universitātes u.c. "Atmiņa AI aģentu laikmetā: Pārskats par formām, funkcijām un dinamiku".
Projekta adrese: https://github.com/Shichun-Liu/Agent-Memory-Paper-List
Raksta adrese: https://arxiv.org/pdf/2512.13564
Pēdējo divu gadu laikā mēs esam pieredzējuši pārsteidzošu lielu valodu modeļu (LLM) evolūciju uz AI aģentiem (AI Agents). Sākot no Deep Research līdz programmatūras inženierijai, no zinātniskiem atklājumiem līdz vairāku aģentu sadarbībai, šie uz pamata modeļiem balstītie aģenti virza mākslīgā vispārējā intelekta (AGI) robežas.
Bet parādās galvenais jautājums: Kā panākt, lai aģenti spētu nepārtraukti mācīties un pielāgoties, ja statiskos LLM parametrus nevar ātri atjaunināt?
Atbilde ir – atmiņa (Memory).
"Atmiņa ir galvenā spēja pārveidot statiskus LLM par aģentiem, kas spēj nepārtraukti pielāgoties, mijiedarbojoties ar vidi."
1. attēls parāda rakstā ierosināto vienoto klasifikācijas sistēmu, kas organizē aģentu atmiņu atbilstoši trim dimensijām: formām (Forms), funkcijām (Functions), dinamikai (Dynamics), un kartē reprezentatīvas sistēmas šajā klasifikācijas sistēmā.
Raksts arī skaidri atšķir Agent Memory no vairākiem cieši saistītiem, bet būtiski atšķirīgiem jēdzieniem: LLM atmiņa, Retrieval-Augmented Generation (RAG) un Context Engineering. Lai gan tie visi ir saistīti ar informācijas uzglabāšanu un izmantošanu, pastāv būtiskas atšķirības mērķos, mehānismos un lietojuma scenārijos.
Aģentu atmiņas tehnoloģijas
-
Self-Evolving Memory: Memento, H2R
-
Multimodal Memory: Ella, ViloMem, M3-Agent
-
Latent Memory: MemoryLLM, M+, MemGen
-
Parametric Memory: Retroformer, Early experience
-
RL-enabled Memory: MemAgent, RMM, MemSearcher, MEM1, Mem-alpha, Memory-R1
Aģentu atmiņa vs. RAG
RAG saistītās tehnoloģijas:
-
Modular RAG: FlashRAG, ComposeRAG
-
Graph RAG: LightRAG, HippoRAG
-
Agentic RAG: PlanRAG, Self-RAG
RAG un aģentu atmiņa ietver informācijas izgūšanu no ārējās atmiņas, lai uzlabotu modeļa iespējas, taču starp abiem pastāv būtiskas atšķirības dizaina filozofijā:
IezīmeRAGAģenta atmiņa Galvenais mērķisNodrošināt atbilstošu pamatinformāciju pašreizējam vaicājumamNepārtraukta mācīšanās un adaptīva uzvedība laika gaitā Informācijas avotsParasti statiska, iepriekš izveidota zināšanu bāzeDinamiski ģenerēta, personalizēta informācija no aģenta paša mijiedarbības pieredzes Izgūšanas aktivizēšanaLietotāja vaicājums to pasīvi aktivizēAģents aktīvi izlemj, kad un ko izgūt Informācijas atjaunināšanaZināšanu bāze parasti tiek atjaunināta bezsaistēTiešsaistē, nepārtraukti un selektīvi atjaunināta Atsauksmju cilpaNav tieša atgriezeniskās saites mehānismaVeido slēgtu cilpu ar mijiedarbību ar vidi
Galvenā atšķirība: RAG ir zināšanu paplašināšanas rīks, savukārt aģentu atmiņa ir mācību mehānisms. RAG atbild uz jautājumu "Ko es zinu", savukārt aģentu atmiņa atbild uz jautājumu "Ko esmu iemācījies".
Aģentu atmiņa vs. LLM atmiņa
LLM atmiņas saistītās tehnoloģijas:
-
Attention KV management: Mixture-of-Memory
-
Long context processing: Mamba, Memformer, MoA, Sparseformer, NSA
DimensijaLLM atmiņaAģenta atmiņa DefinīcijaModelī internalizētas zināšanas vai pagaidu informācija konteksta logāĀrēja sistēma, kas atbalsta aģenta nepārtrauktu mijiedarbību ar vidi, mācīšanos starp uzdevumiem un ilgtermiņa pielāgošanos Laika skalaIerobežota ar iepriekš apmācītiem datiem vai pašreizējo dialoga kontekstuAptver vairākus uzdevumus, sesijas, atbalsta mūžizglītību AtjaunināmībaParametru atjaunināšanas izmaksas ir augstas, konteksta informācija ir gaistošaAtbalsta efektīvu, selektīvu dinamisko atjaunināšanu un evolūciju AktīvismsPasīvi reaģē uz vaicājumiemAktīvi izlemj, ko uzglabāt, atjaunināt un izgūt Saistība ar vidiNav tiešas mijiedarbības ar vidiDziļi integrēta vides atgriezeniskā saite, atbalsta interaktīvu mācīšanos
Galvenā atšķirība: LLM atmiņa būtībā ir statiska (parametri ir fiksēti) vai īslaicīga (konteksts ir ierobežots), savukārt aģentu atmiņa ir dinamiska, noturīga un saistīta ar vidi.
Aģentu atmiņa vs. Konteksta inženierija
Konteksta inženierijas saistītās tehnoloģijas:
-
Tool-integrated reasoning: ReTool, ToolLLM, Toolformer, VTool-R1, ToRL
-
Tool selection: AutoTool, VisTA
-
Communication protocol: ANP, A2A, MCP, Agora
AspektsKonteksta inženierijaAģenta atmiņa FokussIevades optimizācija vienā vai pašreizējā uzdevumāInformācijas noturība un izmantošana vairākās kārtās, vairākos uzdevumos Laika dimensijaPašreizējā sesijaIlgtermiņa vēsture Informācijas atlaseManuāli izstrādāti vai heiristiski noteikumiAutomatizēti veidošanās, evolūcijas, izgūšanas mehānismi Statusa pārvaldībaNav noturīga statusaEksplītiski uztur evolūcijas atmiņas stāvokli
Galvenā atšķirība: Konteksta inženierija ir uzvedņu optimizācijas tehnoloģija, savukārt aģentu atmiņa ir statusa pārvaldības sistēma. Pirmā koncentrējas uz "Ko ievadīt tagad", savukārt otrā koncentrējas uz "Ko atcerējāmies pagātnē, kā tas ietekmē tagadni un nākotni".
