Mapitio ya Kurasa 107 ya RAG na Kumbukumbu za Agent&LLM
Leo ninashiriki mapitio ya kiufundi ya kurasa 107 kutoka Renmin University, Fudan University, Peking University, n.k., yenye kichwa "Kumbukumbu katika Enzi ya Mawakala wa AI: Utafiti wa Fomu, Kazi na Mienendo".
Anwani ya mradi: https://github.com/Shichun-Liu/Agent-Memory-Paper-List
Anwani ya karatasi: https://arxiv.org/pdf/2512.13564
Katika miaka miwili iliyopita, tumeshuhudia mageuzi ya kushangaza ya miundo mikubwa ya lugha (LLM) kuwa mawakala wa akili bandia (AI Agents). Kuanzia Utafiti wa Kina hadi uhandisi wa programu, kuanzia ugunduzi wa kisayansi hadi ushirikiano wa mawakala wengi, mawakala hawa wanaotegemea miundo ya msingi wanasukuma mipaka ya akili bandia ya jumla (AGI).
Lakini swali kuu linajitokeza: Vigezo tuli vya LLM haviwezi kusasishwa haraka, tunawezaje kuwezesha mawakala kuwa na uwezo wa kujifunza na kukabiliana na mazingira kila mara?
Jibu ni - Kumbukumbu (Memory).
"Kumbukumbu ni uwezo muhimu wa kubadilisha LLM tuli kuwa mawakala wenye akili ambao wanaweza kuendelea kukabiliana na mazingira kupitia mwingiliano."
Mchoro 1 unaonyesha mfumo wa uainishaji uliopendekezwa na karatasi, ambao hupanga kumbukumbu ya wakala kulingana na vipimo vitatu: Fomu (Forms), Kazi (Functions), na Mienendo (Dynamics), na ramani za mifumo ya uwakilishi kwenye mfumo huu wa uainishaji.
Karatasi pia inatofautisha wazi Kumbukumbu ya Wakala kutoka kwa dhana kadhaa zinazohusiana kwa karibu lakini tofauti kimsingi: Kumbukumbu ya LLM, Uzalishaji Ulioimarishwa na Urejeshaji (RAG), na Uhandisi wa Muktadha. Ingawa zote zinahusiana na uhifadhi na matumizi ya habari, kuna tofauti muhimu katika malengo, mifumo na matukio ya matumizi.
Teknolojia ya Kumbukumbu ya Wakala
-
Kumbukumbu Inayojibadilisha Yenyewe (Self-Evolving Memory): Memento, H2R
-
Kumbukumbu ya Njia Nyingi (Multimodal Memory): Ella, ViloMem, M3-Agent
-
Kumbukumbu Fiche (Latent Memory): MemoryLLM, M+, MemGen
-
Kumbukumbu ya Parametric (Parametric Memory): Retroformer, Early experience
-
Kumbukumbu Iliyowezeshwa na RL (RL-enabled Memory): MemAgent, RMM, MemSearcher, MEM1, Mem-alpha, Memory-R1
Kumbukumbu ya Wakala dhidi ya RAG
Teknolojia zinazohusiana na RAG:
-
RAG ya Kimoduli (Modular RAG): FlashRAG, ComposeRAG
-
RAG ya Grafu (Graph RAG): LightRAG, HippoRAG
-
RAG ya Kiwakala (Agentic RAG): PlanRAG, Self-RAG
RAG na kumbukumbu ya wakala zinahusisha kurejesha habari kutoka kwa hifadhi ya nje ili kuimarisha uwezo wa mfumo, lakini kuna tofauti ya kimsingi katika falsafa ya muundo kati ya hizo mbili:
| Kipengele | RAG | Kumbukumbu ya Wakala |
|---|---|---|
| Lengo kuu | Kutoa usaidizi wa maarifa ya usuli unaohusiana na swali la sasa | Kujifunza endelevu na tabia ya kujibadilisha kwa muda |
| Chanzo cha habari | Hifadhi ya maarifa tuli, iliyojengwa awali | Habari ya kibinafsi iliyotolewa kwa nguvu kutoka kwa uzoefu wa mwingiliano wa wakala mwenyewe |
| Urejeshaji unaanzishwa na | Swali la mtumiaji (limeanzishwa kwa utaratibu) | Wakala anaamua kwa hiari wakati na nini cha kurejesha |
| Usasishaji wa habari | Hifadhi ya maarifa husasishwa nje ya mtandao | Husasishwa mtandaoni, kwa kuendelea, na kwa kuchagua |
| Mzunguko wa maoni | Hakuna utaratibu wa maoni ya moja kwa moja | Huunda kitanzi kilichofungwa na mwingiliano wa mazingira |
Tofauti muhimu: RAG ni zana ya upanuzi wa maarifa, wakati kumbukumbu ya wakala ni utaratibu wa kujifunza. RAG inajibu "Ninajua nini", kumbukumbu ya wakala inajibu "Nimejifunza nini".
Kumbukumbu ya Wakala dhidi ya Kumbukumbu ya LLM
Teknolojia zinazohusiana na kumbukumbu ya LLM:
-
Usimamizi wa Umakini KV (Attention KV management): Mixture-of-Memory
-
Uchakataji wa muktadha mrefu (Long context processing): Mamba, Memformer, MoA, Sparseformer, NSA
| Kipimo | Kumbukumbu ya LLM | Kumbukumbu ya Wakala |
|---|---|---|
| Ufafanuzi | Maarifa yaliyojumuishwa ndani ya vigezo vya mfumo, au habari ya muda katika dirisha la muktadha | Mfumo wa nje unaounga mkono wakala kuingiliana na mazingira kila mara, kujifunza kwa kazi nyingi, na kukabiliana na mazingira kwa muda mrefu |
| Muda | Imewekwa kwa data ya mafunzo ya awali au muktadha wa mazungumzo ya sasa | Inazunguka kazi nyingi, vipindi, na inasaidia kujifunza maisha yote |
| Usasishaji | Gharama kubwa za kusasisha vigezo, habari ya muktadha ni tete | Inasaidia usasishaji na mageuzi yenye ufanisi, ya kuchagua na yenye nguvu |
| Uamilifu | Hujibu maswali kwa utaratibu | Huamua kwa hiari habari gani ya kuhifadhi, kusasisha na kurejesha |
| Muunganiko na mazingira | Hakuna mwingiliano wa moja kwa moja na mazingira | Imeunganishwa kwa kina na maoni ya mazingira, inasaidia kujifunza kwa mwingiliano |
Tofauti muhimu: Kumbukumbu ya LLM kimsingi ni tuli (vigezo vimewekwa) au ya muda mfupi (muktadha umewekwa), wakati kumbukumbu ya wakala ni yenye nguvu, ya kudumu, na imeunganishwa na mazingira.
Kumbukumbu ya Wakala dhidi ya Uhandisi wa Muktadha
Teknolojia zinazohusiana na uhandisi wa muktadha:
-
Hoja iliyounganishwa na zana (Tool-integrated reasoning): ReTool, ToolLLM, Toolformer, VTool-R1, ToRL
-
Uchaguzi wa zana (Tool selection): AutoTool, VisTA
-
Itifaki ya mawasiliano (Communication protocol): ANP, A2A, MCP, Agora
| Kipengele | Uhandisi wa Muktadha | Kumbukumbu ya Wakala |
|---|---|---|
| Lengo | Uboreshaji wa ingizo kwa kazi moja au ya sasa | Uendelezaji na matumizi ya habari ya kudumu katika mizunguko mingi, kazi nyingi |
| Kipimo cha muda | Kipindi cha sasa | Historia ndefu |
| Uchaguzi wa habari | Iliyoundwa na binadamu au sheria za kiakili | Utaratibu wa kiotomatiki wa uundaji, mageuzi, na urejeshaji |
| Usimamizi wa hali | Hakuna hali ya kudumu | Hali ya kumbukumbu inayobadilika inatunzwa wazi |
Tofauti muhimu: Uhandisi wa muktadha ni mbinu ya uboreshaji wa vidokezo, wakati kumbukumbu ya wakala ni mfumo wa usimamizi wa hali. Ya kwanza inazingatia "Nini cha kuingiza sasa", ya mwisho inazingatia "Nini kimekumbukwa hapo zamani, na jinsi gani kinaathiri sasa na siku zijazo".
