En 107-siders RAG og Agent & LLM hukommelsesoversigt
I dag deler jeg en 107-siders teknisk oversigt fra Renmin University of China, Fudan University, Peking University osv., "Memory in the Age of AI Agents: A Survey Forms, Functions and Dynamics".
Projektadresse: https://github.com/Shichun-Liu/Agent-Memory-Paper-List
Papiradresse: https://arxiv.org/pdf/2512.13564
I de seneste to år har vi været vidne til den fantastiske udvikling af store sprogmodeller (LLM'er) til AI-agenter (AI Agents). Fra Deep Research til software engineering, fra videnskabelige opdagelser til multi-agent samarbejde, driver disse agenter, der er baseret på grundlæggende modeller, grænserne for kunstig generel intelligens (AGI).
Men et centralt spørgsmål dukker op: Hvordan kan agenter have kontinuerlig lærings- og tilpasningsevne, når de statiske LLM-parametre ikke kan opdateres hurtigt?
Svaret er - Hukommelse (Memory).
"Hukommelse er den vigtigste evne til at omdanne statiske LLM'er til intelligente agenter, der kontinuerligt kan tilpasse sig gennem miljøinteraktion."
Figur 1 viser den samlede klassificeringsramme, der er foreslået i papiret, som organiserer agenthukommelse i henhold til tre dimensioner: Form (Forms), Funktioner (Functions) og Dynamik (Dynamics), og kortlægger repræsentative systemer til dette klassificeringssystem.
Papiret skelner også tydeligt mellem Agent Memory og flere tæt beslægtede, men væsentligt forskellige koncepter: LLM-hukommelse, Retrieval Augmented Generation (RAG) og Context Engineering. Selvom de alle er relateret til lagring og udnyttelse af information, er der vigtige forskelle i mål, mekanismer og applikationsscenarier.
Agenthukommelsesteknologi
-
Self-Evolving Memory: Memento, H2R
-
Multimodal Memory: Ella, ViloMem, M3-Agent
-
Latent Memory: MemoryLLM, M+, MemGen
-
Parametric Memory: Retroformer, Early experience
-
RL-enabled Memory: MemAgent, RMM, MemSearcher, MEM1, Mem-alpha, Memory-R1
Agenthukommelse vs. RAG
RAG-relaterede teknologier:
-
Modular RAG: FlashRAG, ComposeRAG
-
Graph RAG: LightRAG, HippoRAG
-
Agentic RAG: PlanRAG, Self-RAG
RAG og agenthukommelse involverer begge hentning af information fra ekstern lagring for at forbedre modelkapaciteter, men der er en væsentlig forskel i designfilosofien mellem de to:
FeatureRAGAgenthukommelse Kerne målGiv relevant baggrundsviden til support af den aktuelle forespørgselKontinuerlig læring og adaptiv adfærd over tid InformationskildeNormalt statiske, præ-byggede vidensbaserDynamisk genereret, personlig information fra agentens egne interaktionserfaringer Hentning udløstPassivt udløst af brugerforespørgslerAktivt bestemt af agenten, hvornår og hvad der skal hentes Information opdateringVidensbasen opdateres normalt offlineOnline, kontinuerlig og selektiv opdatering Feedback loopIngen direkte feedback mekanismeDanner en lukket sløjfe med miljøinteraktion
Vigtig forskel: RAG er et vidensudvidelsesværktøj, mens agenthukommelse er en læringsmekanisme. RAG besvarer "Hvad ved jeg", agenthukommelse besvarer "Hvad har jeg lært".
Agenthukommelse vs. LLM-hukommelse
LLM-hukommelsesrelaterede teknologier:
-
Attention KV management: Mixture-of-Memory
-
Long context processing: Mamba, Memformer, MoA, Sparseformer, NSA
DimensionLLM HukommelseAgenthukommelse DefinitionInternaliseret viden i modelparametre eller midlertidig information i kontekstvinduetEksternt system, der understøtter agentens kontinuerlige interaktion med miljøet, læring på tværs af opgaver og langsigtet tilpasning TidsskalaBegrænset til præ-træningsdata eller den aktuelle dialogkontekstSpænder over flere opgaver, sessioner og understøtter livslang læring OpdaterbarhedParametrene er dyre at opdatere, kontekstinformation er flygtigUnderstøtter effektiv, selektiv dynamisk opdatering og udvikling AktivitetPassivt svarer på forespørgslerAktivt bestemmer, hvad der skal gemmes, opdateres og hentes Kobling til miljøetIngen direkte interaktion med miljøetDybt integreret miljøfeedback, understøtter interaktiv læring
Vigtig forskel: LLM-hukommelse er i det væsentlige statisk (parametre er faste) eller kortvarig (kontekst er begrænset), mens agenthukommelse er dynamisk, vedvarende og miljøkoblet.
Agenthukommelse vs. Kontekst Engineering
Kontekst Engineering relaterede teknologier:
-
Tool-integrated reasoning: ReTool, ToolLLM, Toolformer, VTool-R1, ToRL
-
Tool selection: AutoTool, VisTA
-
Communication protocol: ANP, A2A, MCP, Agora
AspektKontekst EngineeringAgenthukommelse FokusInputoptimering for en enkelt runde eller den aktuelle opgaveVedvarende og udnyttelse af information på tværs af flere runder og opgaver TidsdimensionNuværende sessionLang historik InformationsvalgManuelt designet eller heuristiske reglerAutomatiserede mekanismer til dannelse, udvikling og hentning StatushåndteringIngen vedvarende tilstandEksplicit vedligeholdelse af en udviklende hukommelsestilstand
Vigtig forskel: Kontekst Engineering er en promptoptimeringsteknik, mens agenthukommelse er et statushåndteringssystem. Førstnævnte fokuserer på "Hvad der skal indtastes nu", sidstnævnte fokuserer på "Hvad der er blevet husket tidligere, og hvordan det påvirker nu og fremtiden".
