એક 107 પાનાનો RAG અને એજન્ટ અને LLM મેમરીનો સારાંશ

આજે હું રેનમિન યુનિવર્સિટી, ફુડાન યુનિવર્સિટી, પેકિંગ યુનિવર્સિટી વગેરેના 107 પાનાના ટેકનિકલ સારાંશ "Memory in the Age of AI Agents: A Survey Forms, Functions and Dynamics" શેર કરી રહ્યો છું.

પ્રોજેક્ટ સરનામું: https://github.com/Shichun-Liu/Agent-Memory-Paper-List

પેપર સરનામું: https://arxiv.org/pdf/2512.13564

પાછલા બે વર્ષોમાં, અમે મોટા ભાષા મોડેલ્સ (LLM) થી AI એજન્ટો (AI Agents) ના આશ્ચર્યજનક ઉત્ક્રાંતિને જોયો છે. ડીપ રિસર્ચથી લઈને સોફ્ટવેર એન્જિનિયરિંગ સુધી, વૈજ્ઞાનિક શોધથી લઈને મલ્ટી-એજન્ટ સહયોગ સુધી, આ ફાઉન્ડેશન મોડેલ આધારિત એજન્ટો આર્ટિફિશિયલ જનરલ ઇન્ટેલિજન્સ (AGI) ની સીમાઓને આગળ ધપાવી રહ્યા છે.

પરંતુ એક મુખ્ય પ્રશ્ન ઉભો થાય છે: સ્થિર LLM પરિમાણોને ઝડપથી અપડેટ કરી શકાતા નથી, તો એજન્ટોને સતત શીખવાની અને અનુકૂલન કરવાની ક્ષમતા કેવી રીતે આપવી?

જવાબ છે - મેમરી (Memory).

"મેમરી એ સ્થિર LLM ને એવા એજન્ટોમાં રૂપાંતરિત કરવાની મુખ્ય ક્ષમતા છે જે પર્યાવરણ સાથેની ક્રિયાપ્રતિક્રિયા દ્વારા સતત અનુકૂલન કરી શકે છે."

Figure 1 પેપરમાં પ્રસ્તાવિત એકીકૃત વર્ગીકરણ ફ્રેમવર્ક દર્શાવે છે, જે એજન્ટ મેમરીને ફોર્મ્સ (Forms), ફંક્શન્સ (Functions) અને ડાયનેમિક્સ (Dynamics) ના ત્રણ પરિમાણો અનુસાર ગોઠવે છે અને પ્રતિનિધિત્વ કરતી સિસ્ટમોને આ વર્ગીકરણ સિસ્ટમમાં મેપ કરે છે.

પેપર એજન્ટ મેમરી અને કેટલાક નજીકના સંબંધિત પરંતુ મૂળભૂત રીતે અલગ ખ્યાલો વચ્ચે સ્પષ્ટ તફાવત પણ કરે છે: LLM મેમરી, રીટ્રીવલ ઓગમેન્ટેડ જનરેશન (RAG) અને કોન્ટેક્સ્ટ એન્જિનિયરિંગ. જો કે તે બધા માહિતીના સંગ્રહ અને ઉપયોગ સાથે સંબંધિત છે, પરંતુ ધ્યેયો, મિકેનિઝમ્સ અને એપ્લિકેશન દૃશ્યોમાં મુખ્ય તફાવતો છે.

એજન્ટ મેમરી ટેકનોલોજી

• Self-Evolving Memory: Memento, H2R

• Multimodal Memory: Ella, ViloMem, M3-Agent

• Latent Memory: MemoryLLM, M+, MemGen

• Parametric Memory: Retroformer, Early experience

• RL-enabled Memory: MemAgent, RMM, MemSearcher, MEM1, Mem-alpha, Memory-R1

એજન્ટ મેમરી વિ. RAG

RAG સંબંધિત તકનીકો:

• Modular RAG: FlashRAG, ComposeRAG

• Graph RAG: LightRAG, HippoRAG

• Agentic RAG: PlanRAG, Self-RAG

RAG અને એજન્ટ મેમરી બંને મોડેલ ક્ષમતાઓને વધારવા માટે બાહ્ય સ્ટોરેજમાંથી માહિતી પુનઃપ્રાપ્ત કરવાનો સમાવેશ કરે છે, પરંતુ બંનેની ડિઝાઇન ફિલસૂફીમાં મૂળભૂત તફાવત છે:

લાક્ષણિકતાRAGએજન્ટ મેમરી મુખ્ય ધ્યેયવર્તમાન ક્વેરી માટે સંબંધિત પૃષ્ઠભૂમિ જ્ઞાન સપોર્ટ પૂરો પાડવોસમય જતાં સતત શીખવું અને સ્વ-અનુકૂલનશીલ વર્તન માહિતી સ્ત્રોતસામાન્ય રીતે સ્થિર, પૂર્વ-નિર્મિત જ્ઞાન આધારગતિશીલ રીતે જનરેટ થયેલ, એજન્ટના પોતાના ક્રિયાપ્રતિક્રિયા અનુભવોમાંથી વ્યક્તિગત માહિતી પુનઃપ્રાપ્તિ ટ્રિગરવપરાશકર્તા ક્વેરી દ્વારા નિષ્ક્રિય રીતે ટ્રિગર થાય છેએજન્ટ સક્રિયપણે ક્યારે, શું પુનઃપ્રાપ્ત કરવું તે નક્કી કરે છે માહિતી અપડેટજ્ઞાન આધાર સામાન્ય રીતે ઑફલાઇન અપડેટ થાય છેઑનલાઇન, સતત, પસંદગીયુક્ત રીતે અપડેટ થાય છે પ્રતિસાદ લૂપકોઈ સીધી પ્રતિસાદ મિકેનિઝમ નથીપર્યાવરણ સાથેની ક્રિયાપ્રતિક્રિયા સાથે બંધ લૂપ બનાવે છે

મુખ્ય તફાવત: RAG એ જ્ઞાન વિસ્તરણ સાધન છે, જ્યારે એજન્ટ મેમરી એ શીખવાની મિકેનિઝમ છે. RAG જવાબ આપે છે "હું શું જાણું છું", એજન્ટ મેમરી જવાબ આપે છે "મેં શું શીખ્યા".

એજન્ટ મેમરી વિ. LLM મેમરી

LLM મેમરી સંબંધિત તકનીકો:

• Attention KV management: Mixture-of-Memory

• Long context processing: Mamba, Memformer, MoA, Sparseformer, NSA

પરિમાણLLM મેમરીએજન્ટ મેમરી વ્યાખ્યામોડેલ પરિમાણોમાં આંતરિક જ્ઞાન અથવા સંદર્ભ વિંડોમાં અસ્થાયી માહિતીએજન્ટને પર્યાવરણ સાથે સતત ક્રિયાપ્રતિક્રિયા, ક્રોસ-ટાસ્ક લર્નિંગ અને લાંબા ગાળાના અનુકૂલનને સમર્થન આપતી બાહ્ય સિસ્ટમ સમય સ્કેલપૂર્વ-તાલીમ ડેટા અથવા વર્તમાન સંવાદ સંદર્ભ સુધી મર્યાદિતબહુવિધ કાર્યો, સત્રોમાં ફેલાયેલું, આજીવન શિક્ષણને સમર્થન આપે છે અપડેટ કરવાની ક્ષમતાપરિમાણ અપડેટ ખર્ચાળ છે, સંદર્ભ માહિતી અસ્થિર છેકાર્યક્ષમ, પસંદગીયુક્ત ગતિશીલ અપડેટ્સ અને ઉત્ક્રાંતિને સમર્થન આપે છે સક્રિયતાનિષ્ક્રિય રીતે ક્વેરીનો પ્રતિસાદ આપે છેસક્રિયપણે શું માહિતી સંગ્રહિત કરવી, અપડેટ કરવી અને પુનઃપ્રાપ્ત કરવી તે નક્કી કરે છે પર્યાવરણ સાથેનું જોડાણપર્યાવરણ સાથે કોઈ સીધી ક્રિયાપ્રતિક્રિયા નથીપર્યાવરણ પ્રતિસાદ સાથે ઊંડાણપૂર્વક સંકલિત, ક્રિયાપ્રતિક્રિયાત્મક શિક્ષણને સમર્થન આપે છે

મુખ્ય તફાવત: LLM મેમરી આવશ્યકપણે સ્થિર (પરિમાણો નિશ્ચિત) અથવા ક્ષણિક (સંદર્ભ મર્યાદિત) છે, જ્યારે એજન્ટ મેમરી ગતિશીલ, સતત અને પર્યાવરણ સાથે જોડાયેલ છે.

એજન્ટ મેમરી વિ. કોન્ટેક્સ્ટ એન્જિનિયરિંગ

કોન્ટેક્સ્ટ એન્જિનિયરિંગ સંબંધિત તકનીકો:

• Tool-integrated reasoning: ReTool, ToolLLM, Toolformer, VTool-R1, ToRL

• Tool selection: AutoTool, VisTA

• Communication protocol: ANP, A2A, MCP, Agora

પાસાકોન્ટેક્સ્ટ એન્જિનિયરિંગએજન્ટ મેમરી ધ્યાન કેન્દ્રિત કરવુંસિંગલ-રાઉન્ડ અથવા વર્તમાન કાર્ય માટે ઇનપુટ ઓપ્ટિમાઇઝેશનબહુવિધ રાઉન્ડ, બહુવિધ કાર્યોમાં માહિતીનું સ્થાયીકરણ અને ઉપયોગ સમય પરિમાણવર્તમાન સત્રલાંબો ગાળો ઇતિહાસ માહિતી પસંદગીમેન્યુઅલી ડિઝાઇન કરેલા અથવા હ્યુરિસ્ટિક નિયમોસ્વયંસંચાલિત રચના, ઉત્ક્રાંતિ અને પુનઃપ્રાપ્તિ મિકેનિઝમ્સ સ્થિતિ સંચાલનકોઈ કાયમી સ્થિતિ નથીવિકાસ કરી શકાય તેવી મેમરી સ્થિતિનું સ્પષ્ટ જાળવણી

મુખ્ય તફાવત: કોન્ટેક્સ્ટ એન્જિનિયરિંગ એ પ્રોમ્પ્ટ ઓપ્ટિમાઇઝેશન ટેકનિક છે, જ્યારે એજન્ટ મેમરી એ સ્ટેટ મેનેજમેન્ટ સિસ્ટમ છે. પ્રથમ "હવે શું ઇનપુટ કરવું" તેના પર ધ્યાન કેન્દ્રિત કરે છે, જ્યારે બીજું "ભૂતકાળમાં શું યાદ રાખ્યું, તે વર્તમાન અને ભવિષ્યને કેવી રીતે અસર કરે છે" તેના પર ધ્યાન કેન્દ્રિત કરે છે.