Pregled RAG-a i Agent&LLM memorije na 107 stranica

Danas dijelim tehnički pregled na 107 stranica autora sa Renmin univerziteta, Fudan univerziteta, Pekinškog univerziteta itd., pod nazivom "Memorija u doba AI agenata: Pregled oblika, funkcija i dinamike".

Adresa projekta: https://github.com/Shichun-Liu/Agent-Memory-Paper-List

Adresa rada: https://arxiv.org/pdf/2512.13564

U protekle dvije godine svjedočili smo nevjerojatnoj evoluciji velikih jezičnih modela (LLM) u AI agente (AI Agents). Od Deep Researcha do softverskog inženjerstva, od znanstvenih otkrića do suradnje više agenata, ovi agenti temeljeni na temeljnim modelima pomiču granice umjetne opće inteligencije (AGI).

Ali pojavljuje se ključno pitanje: Kako omogućiti agentima kontinuirano učenje i prilagodbu kada se statički LLM parametri ne mogu brzo ažurirati?

Odgovor je – memorija (Memory).

"Memorija je ključna sposobnost za pretvaranje statičkih LLM-ova u inteligentne agente koji se mogu kontinuirano prilagođavati kroz interakciju s okolinom."

Slika 1 prikazuje jedinstveni okvir za klasifikaciju koji je predložen u radu, organizirajući memoriju agenta prema tri dimenzije: oblici (Forms), funkcije (Functions) i dinamika (Dynamics), te mapirajući reprezentativne sustave u ovaj sustav klasifikacije.

Rad također jasno razlikuje Agent Memory od nekoliko usko povezanih, ali suštinski različitih koncepata: LLM memorija, generiranje pojačano pretraživanjem (RAG) i inženjering konteksta (context engineering). Iako su svi povezani s pohranom i korištenjem informacija, postoje ključne razlike u ciljevima, mehanizmima i scenarijima primjene.

Tehnologije memorije agenata

• Self-Evolving Memory: Memento, H2R

• Multimodal Memory: Ella, ViloMem, M3-Agent

• Latent Memory: MemoryLLM, M+, MemGen

• Parametric Memory: Retroformer, Early experience

• RL-enabled Memory: MemAgent, RMM, MemSearcher, MEM1, Mem-alpha, Memory-R1

Memorija agenta vs. RAG

RAG povezane tehnologije:

• Modular RAG: FlashRAG, ComposeRAG

• Graph RAG: LightRAG, HippoRAG

• Agentic RAG: PlanRAG, Self-RAG

RAG i memorija agenta uključuju dohvaćanje informacija iz vanjske pohrane kako bi se poboljšala sposobnost modela, ali postoje suštinske razlike u filozofiji dizajna između to dvoje:

ZnačajkaRAGMemorija agenta Osnovni ciljPružanje relevantne pozadinske podrške za trenutni upitKontinuirano učenje i adaptivno ponašanje tijekom vremena Izvor informacijaObično statična, unaprijed izgrađena baza znanjaDinamički generirane, personalizirane informacije iz vlastitog interaktivnog iskustva agenta Okidač dohvaćanjaPasivno pokrenut korisničkim upitomAgent aktivno odlučuje kada i što pretraživati Ažuriranje informacijaBaza znanja se obično ažurira izvan mrežeOnline, kontinuirano i selektivno ažuriranje Povratna spregaNema izravnog mehanizma povratne spregeFormiranje zatvorene petlje s interakcijom s okolinom

Ključna razlika: RAG je alat za proširenje znanja, dok je memorija agenta mehanizam učenja. RAG odgovara na pitanje "Što znam", a memorija agenta odgovara na pitanje "Što sam naučio".

Memorija agenta vs. LLM memorija

LLM povezane tehnologije memorije:

• Attention KV management: Mixture-of-Memory

• Long context processing: Mamba, Memformer, MoA, Sparseformer, NSA

DimenzijaLLM memorijaMemorija agenta DefinicijaInternalizirano znanje u parametrima modela ili privremene informacije u kontekstnom prozoruVanjski sustav koji podržava kontinuiranu interakciju agenta s okolinom, učenje kroz zadatke i dugoročnu prilagodbu Vremenska skalaOgraničeno na podatke za predobuku ili trenutni kontekst razgovoraProteže se kroz više zadataka, sesija, podržava cjeloživotno učenje Mogućnost ažuriranjaVisoki troškovi ažuriranja parametara, kontekstne informacije su nestabilnePodržava učinkovito, selektivno dinamičko ažuriranje i evoluciju AktivnostPasivno odgovara na upiteAktivno odlučuje što pohraniti, ažurirati i pretraživati Povezanost s okolinomNema izravne interakcije s okolinomDuboko integrirana povratna sprega iz okoline, podržava interaktivno učenje

Ključna razlika: LLM memorija je u biti statična (fiksni parametri) ili kratkotrajna (ograničen kontekst), dok je memorija agenta dinamična, trajna i povezana s okolinom.

Memorija agenta vs. Inženjering konteksta

Tehnologije povezane s inženjeringom konteksta:

• Tool-integrated reasoning: ReTool, ToolLLM, Toolformer, VTool-R1, ToRL

• Tool selection: AutoTool, VisTA

• Communication protocol: ANP, A2A, MCP, Agora

AspektInženjering kontekstaMemorija agenta FokusOptimizacija unosa za jedan krug ili trenutni zadatakTrajna pohrana i korištenje informacija kroz više krugova, više zadataka Vremenska dimenzijaTrenutna sesijaDuga povijest Odabir informacijaRučno dizajnirana ili heuristička pravilaAutomatizirani mehanizmi formiranja, evolucije i dohvaćanja Upravljanje stanjemNema trajnog stanjaEksplicitno održavanje evoluirajućeg stanja memorije

Ključna razlika: Inženjering konteksta je tehnika optimizacije upita, a memorija agenta je sustav upravljanja stanjem. Prvi se fokusira na "Što sada unijeti", a drugi se fokusira na "Što sam zapamtio u prošlosti i kako to utječe na sadašnjost i budućnost".