107-sivuinen katsaus RAG:iin ja Agent&LLM-muistiin

Tänään jaan Renminin yliopiston, Fudanin yliopiston, Pekingin yliopiston jne. 107-sivuisen teknisen katsauksen "Memory in the Age of AI Agents: A Survey Forms, Functions and Dynamics".

Projektin osoite: https://github.com/Shichun-Liu/Agent-Memory-Paper-List

Tutkimuspaperin osoite: https://arxiv.org/pdf/2512.13564

Viimeisten kahden vuoden aikana olemme nähneet suurten kielimallien (LLM) hämmästyttävän kehityksen kohti tekoälyagentteja (AI Agents). Deep Researchista ohjelmistotuotantoon, tieteellisistä löydöksistä moniagenttiyhteistyöhön, nämä perusmalleihin perustuvat agentit työntävät eteenpäin yleisen tekoälyn (AGI) rajoja.

Mutta yksi keskeinen kysymys nousee esiin: Kuinka agentit voivat oppia ja sopeutua jatkuvasti, kun staattisia LLM-parametreja ei voida päivittää nopeasti?

Vastaus on – muisti (Memory).

"Muisti on avainasemassa muuttaessa staattiset LLM:t agenteiksi, jotka pystyvät jatkuvasti sopeutumaan ympäristön vuorovaikutuksen kautta."

Figure 1 esittää tutkimuspaperissa ehdotetun yhtenäisen luokittelukehyksen, joka järjestää agenttimuistin kolmen ulottuvuuden mukaan: muodot (Forms), toiminnot (Functions) ja dynamiikka (Dynamics), ja kartoittaa edustavat järjestelmät tähän luokittelujärjestelmään.

Tutkimuspaperi erottaa myös selkeästi agenttimuistin useista läheisesti liittyvistä, mutta olennaisesti erilaisista käsitteistä: LLM-muisti, hakuun perustuva generointi (RAG) ja kontekstisuunnittelu. Vaikka ne kaikki liittyvät tiedon tallentamiseen ja hyödyntämiseen, niiden tavoitteissa, mekanismeissa ja sovellusskenaarioissa on keskeisiä eroja.

Agenttimuistitekniikat

• Self-Evolving Memory: Memento, H2R

• Multimodal Memory: Ella, ViloMem, M3-Agent

• Latent Memory: MemoryLLM, M+, MemGen

• Parametric Memory: Retroformer, Early experience

• RL-enabled Memory: MemAgent, RMM, MemSearcher, MEM1, Mem-alpha, Memory-R1

Agenttimuisti vs. RAG

RAG-liittyvät tekniikat:

• Modular RAG: FlashRAG, ComposeRAG

• Graph RAG: LightRAG, HippoRAG

• Agentic RAG: PlanRAG, Self-RAG

RAG ja agenttimuisti molemmat sisältävät tiedon hakemisen ulkoisesta tallennustilasta mallin kykyjen parantamiseksi, mutta niiden suunnittelufilosofioissa on olennainen ero:

OminaisuusRAGAgenttimuisti Keskeinen tavoiteTarjota asiaankuuluvaa taustatietoa nykyiselle kyselylleTukea jatkuvaa oppimista ja mukautuvaa käyttäytymistä ajan mittaan Tiedon lähdeYleensä staattinen, ennalta rakennettu tietokantaDynaamisesti luotu, peräisin agentin omasta vuorovaikutuskokemuksesta Haun käynnistysKäynnistetään passiivisesti käyttäjän kyselylläAgentti päättää aktiivisesti milloin ja mitä hakea Tiedon päivitysTietokanta päivitetään yleensä offline-tilassaPäivitetään online-tilassa, jatkuvasti ja valikoivasti PalautesilmukkaEi suoraa palautemekanismiaMuodostaa suljetun silmukan ympäristön vuorovaikutuksen kanssa

Keskeinen ero: RAG on tiedon laajennustyökalu, kun taas agenttimuisti on oppimismekanismi. RAG vastaa "Mitä tiedän", agenttimuisti vastaa "Mitä olen oppinut".

Agenttimuisti vs. LLM-muisti

LLM-muistiin liittyvät tekniikat:

• Attention KV management: Mixture-of-Memory

• Long context processing: Mamba, Memformer, MoA, Sparseformer, NSA

UlottuvuusLLM-muistiAgenttimuisti MääritelmäMallin parametreihin sisällytetty tieto tai väliaikainen tieto konteksti-ikkunassaUlkoinen järjestelmä, joka tukee agentin jatkuvaa vuorovaikutusta ympäristön kanssa, tehtävien välistä oppimista ja pitkäaikaista sopeutumista AikaskaalaRajoittuu esikoulutustietoihin tai nykyiseen keskustelukontekstiinUlottuu useisiin tehtäviin ja istuntoihin, tukee elinikäistä oppimista PäivitettävyysParametrien päivityskustannukset ovat korkeat, kontekstitiedot ovat haihtuviaTukee tehokasta, valikoivaa dynaamista päivitystä ja kehitystä AktiivisuusReagoi passiivisesti kyselyihinPäättää aktiivisesti, mitä tietoja tallentaa, päivittää ja hakea Ympäristön kytkentäEi suoraa vuorovaikutusta ympäristön kanssaIntegroituu syvästi ympäristöpalautteeseen, tukee interaktiivista oppimista

Keskeinen ero: LLM-muisti on pohjimmiltaan staattinen (parametrit kiinteät) tai lyhytkestoinen (konteksti rajoitettu), kun taas agenttimuisti on dynaaminen, pysyvä ja ympäristöön kytketty.

Agenttimuisti vs. Kontekstisuunnittelu

Kontekstisuunnitteluun liittyvät tekniikat:

• Tool-integrated reasoning: ReTool, ToolLLM, Toolformer, VTool-R1, ToRL

• Tool selection: AutoTool, VisTA

• Communication protocol: ANP, A2A, MCP, Agora

NäkökulmaKontekstisuunnitteluAgenttimuisti KohdeYksittäisen kierroksen tai nykyisen tehtävän syötteen optimointiTiedon pysyvyys ja hyödyntäminen useiden kierrosten ja tehtävien välillä AikaulottuvuusNykyinen istuntoPitkäaikainen historia Tiedon valintaIhmisen suunnittelemat tai heuristiset säännötAutomatisoitu muodostus-, kehitys- ja hakumekanismi TilanhallintaEi pysyvää tilaaYlläpitää eksplisiittisesti kehitettävää muistitilaa

Keskeinen ero: Kontekstisuunnittelu on kehotteiden optimointitekniikka, kun taas agenttimuisti on tilanhallintajärjestelmä. Edellinen keskittyy "Mitä syötetään nyt", jälkimmäinen keskittyy "Mitä on muistettu aiemmin, miten se vaikuttaa nykyisyyteen ja tulevaisuuteen".