Një përmbledhje prej 107 faqesh mbi RAG dhe kujtesën e Agjentëve & LLM

Sot po ndajmë një përmbledhje teknike prej 107 faqesh nga Universiteti Popullor i Kinës, Universiteti Fudan, Universiteti i Pekinit etj., "Kujtesa në Epokën e Agjentëve të AI: Një Anketë mbi Format, Funksionet dhe Dinamikën".

Adresa e projektit: https://github.com/Shichun-Liu/Agent-Memory-Paper-List

Adresa e punimit: https://arxiv.org/pdf/2512.13564

Gjatë dy viteve të fundit, kemi parë një evolucion të mahnitshëm të modeleve të mëdha gjuhësore (LLM) drejt agjentëve inteligjentë të AI (AI Agents). Nga Deep Research te inxhinieria e softuerit, nga zbulimet shkencore te bashkëpunimi me shumë agjentë, këta agjentë të bazuar në modele themelore po shtyjnë kufijtë e inteligjencës së përgjithshme artificiale (AGI).

Por një pyetje thelbësore del në pah: Si mund të pajisen agjentët me aftësi të vazhdueshme të të mësuarit dhe përshtatjes kur parametrat statikë të LLM nuk mund të përditësohen shpejt?

Përgjigja është - Kujtesa (Memory).

"Kujtesa është aftësia kryesore për të transformuar LLM statike në agjentë inteligjentë që mund të përshtaten vazhdimisht përmes ndërveprimit me mjedisin."

Figura 1 tregon kornizën e unifikuar të klasifikimit të propozuar nga punimi, duke organizuar kujtesën e agjentit sipas tre dimensioneve: Format (Forms), Funksionet (Functions), Dinamika (Dynamics), dhe duke i hartuar sistemet përfaqësuese në këtë sistem klasifikimi.

Punimi gjithashtu bën një dallim të qartë midis Kujtesës së Agjentit dhe disa koncepteve ngushtësisht të lidhura por thelbësisht të ndryshme: Kujtesa LLM, Gjenerimi i Përmirësuar i Marrjes (RAG) dhe Inxhinieria e Kontekstit. Megjithëse të gjitha lidhen me ruajtjen dhe përdorimin e informacionit, ekzistojnë dallime thelbësore në qëllime, mekanizma dhe skenarë aplikimi.

Teknologjia e Kujtesës së Agjentit

• Self-Evolving Memory: Memento, H2R

• Multimodal Memory: Ella, ViloMem, M3-Agent

• Latent Memory: MemoryLLM, M+, MemGen

• Parametric Memory: Retroformer, Early experience

• RL-enabled Memory: MemAgent, RMM, MemSearcher, MEM1, Mem-alpha, Memory-R1

Kujtesa e Agjentit vs. RAG

Teknologjitë e lidhura me RAG:

• Modular RAG: FlashRAG, ComposeRAG

• Graph RAG: LightRAG, HippoRAG

• Agentic RAG: PlanRAG, Self-RAG

RAG dhe kujtesa e agjentit përfshijnë të dyja marrjen e informacionit nga ruajtja e jashtme për të përmirësuar aftësitë e modelit, por ekziston një ndryshim thelbësor në filozofinë e projektimit midis të dyjave:

KarakteristikaRAGKujtesa e Agjentit Qëllimi kryesorOfrimi i mbështetjes së njohurive të sfondit të rëndësishme për pyetjen aktualeTë mësuarit e vazhdueshëm dhe sjellja adaptive me kalimin e kohës Burimi i informacionitZakonisht baza e njohurive statike, e parakonstruktuaraInformacion i personalizuar i gjeneruar dinamikisht nga përvoja e ndërveprimit të vetë agjentit Shkaktari i marrjesI shkaktuar pasivisht nga pyetja e përdoruesitI vendosur në mënyrë aktive nga agjenti se kur dhe çfarë të marrë Përditësimi i informacionitBaza e njohurive zakonisht përditësohet jashtë linjePërditësohet në linjë, vazhdimisht dhe në mënyrë selektive Cikli i reagimitPa mekanizëm të drejtpërdrejtë reagimiFormon një lak të mbyllur me ndërveprimin me mjedisin

Dallimi kryesor: RAG është një mjet zgjerimi i njohurive, ndërsa kujtesa e agjentit është një mekanizëm mësimi. RAG i përgjigjet "Çfarë di unë", ndërsa kujtesa e agjentit i përgjigjet "Çfarë kam mësuar".

Kujtesa e Agjentit vs. Kujtesa LLM

Teknologjitë e lidhura me kujtesën LLM:

• Attention KV management: Mixture-of-Memory

• Long context processing: Mamba, Memformer, MoA, Sparseformer, NSA

DimensioniKujtesa LLMKujtesa e Agjentit PërkufizimiNjohuri e internalizuar në parametrat e modelit, ose informacion i përkohshëm në dritaren e kontekstitSistemi i jashtëm që mbështet ndërveprimin e vazhdueshëm të agjentit me mjedisin, të mësuarit ndër-detyra dhe përshtatjen afatgjatë Shkalla kohoreE kufizuar në të dhënat e paratrajnimit ose kontekstin aktual të bisedësPërfshin detyra dhe sesione të shumta, duke mbështetur të mësuarit gjatë gjithë jetës PërditësueshmëriaKosto e lartë e përditësimit të parametrave, informacioni i kontekstit është i paqëndrueshëmMbështet përditësime dhe evolucione dinamike, efikase dhe selektive ProaktivitetiPërgjigje pasive ndaj pyetjeveVendos në mënyrë aktive se çfarë informacioni të ruajë, përditësojë dhe marrë Bashkëveprimi me mjedisinPa ndërveprim të drejtpërdrejtë me mjedisinIntegrim i thellë i reagimeve të mjedisit, duke mbështetur të mësuarit interaktiv

Dallimi kryesor: Kujtesa LLM është në thelb statike (parametrat e fiksuar) ose e përkohshme (konteksti i kufizuar), ndërsa kujtesa e agjentit është dinamike, e qëndrueshme dhe e lidhur me mjedisin.

Kujtesa e Agjentit vs. Inxhinieria e Kontekstit

Teknologjitë e lidhura me inxhinierinë e kontekstit:

• Tool-integrated reasoning: ReTool, ToolLLM, Toolformer, VTool-R1, ToRL

• Tool selection: AutoTool, VisTA

• Communication protocol: ANP, A2A, MCP, Agora

AspektiInxhinieria e KontekstitKujtesa e Agjentit PërqendrimiOptimizimi i hyrjes për një raund të vetëm ose detyrën aktualeQëndrueshmëria dhe përdorimi i informacionit ndër raunde dhe detyra të shumta Përmasa kohoreSesioni aktualHistoria afatgjatë Përzgjedhja e informacionitRregulla të dizajnuara nga njeriu ose heuristikeMekanizma të automatizuara të formimit, evolucionit dhe marrjes Menaxhimi i gjendjesPa gjendje të qëndrueshmeMirëmban në mënyrë eksplicite gjendjen e kujtesës së evoluueshme

Dallimi kryesor: Inxhinieria e kontekstit është një teknikë optimizimi e shënjestrimit, ndërsa kujtesa e agjentit është një sistem i menaxhimit të gjendjes. E para fokusohet në "Çfarë të futet tani", ndërsa e dyta fokusohet në "Çfarë është mbajtur mend në të kaluarën dhe si ndikon kjo në të tashmen dhe të ardhmen".