एका 107 पानांच्या RAG आणि Agent&LLM मेमरीचा आढावा

आज मी रेनमिन युनिव्हर्सिटी, फुडान युनिव्हर्सिटी, पेकिंग युनिव्हर्सिटी इत्यादींच्या 107 पानांच्या तांत्रिक आढाव्याबद्दल माहिती देणार आहे, ज्याचे शीर्षक आहे "Memory in the Age of AI Agents: A Survey Forms, Functions and Dynamics". प्रकल्प पत्ता: https://github.com/Shichun-Liu/Agent-Memory-Paper-List शोधनिबंध पत्ता: https://arxiv.org/pdf/2512.13564 गेल्या दोन वर्षांत, आपण मोठ्या भाषिक मॉडेलमध्ये (LLM) AI एजंट्समध्ये (AI Agents) आश्चर्यकारक उत्क्रांती पाहिली आहे. डीप रिसर्चपासून ते सॉफ्टवेअर इंजिनीअरिंगपर्यंत, वैज्ञानिक शोधांपासून ते मल्टी-एजंट सहकार्यापर्यंत, हे मूलभूत मॉडेल-आधारित एजंट कृत्रिम सामान्य बुद्धिमत्तेच्या (AGI) सीमांना पुढे नेत आहेत. परंतु एक महत्त्वाचा प्रश्न उभा राहतो: **स्थिर LLM पॅरामीटर्स त्वरित अपडेट केले जाऊ शकत नाहीत, मग एजंटमध्ये सतत शिकण्याची आणि जुळवून घेण्याची क्षमता कशी निर्माण करायची?** उत्तर आहे - **मेमरी (Memory)**. > "मेमरी ही स्थिर LLM ला वातावरणाशी संवाद साधून सतत जुळवून घेण्यास सक्षम असलेल्या एजंटमध्ये रूपांतरित करण्याची गुरुकिल्ली आहे." **आकृती 1** मध्ये शोधनिबंधात सादर केलेले एकत्रीकरण वर्गीकरण फ्रेमवर्क दर्शविले आहे, जे एजंट मेमरीला **स्वरूप (Forms)**, **कार्य (Functions)**, **डायनॅमिक्स (Dynamics)** या तीन परिमाणांमध्ये आयोजित करते आणि प्रातिनिधिक प्रणाली या वर्गीकरण प्रणालीमध्ये मॅप करते. शोधनिबंधात Agent Memory आणि काही संबंधित परंतु मूलभूतपणे भिन्न संकल्पनांमध्ये स्पष्ट फरक केला आहे: **LLM मेमरी**, **Retrieval Augmented Generation (RAG)** आणि **Context Engineering**. जरी ते माहितीचे स्टोरेज आणि वापराशी संबंधित असले तरी, त्यांचे ध्येय, यंत्रणा आणि अनुप्रयोग परिस्थितींमध्ये महत्त्वपूर्ण फरक आहेत. ## एजंट मेमरी तंत्रज्ञान - **Self-Evolving Memory**: Memento, H2R - **Multimodal Memory**: Ella, ViloMem, M3-Agent - **Latent Memory**: MemoryLLM, M+, MemGen - **Parametric Memory**: Retroformer, Early experience - **RL-enabled Memory**: MemAgent, RMM, MemSearcher, MEM1, Mem-alpha, Memory-R1 ## एजंट मेमरी वि. RAG RAG संबंधित तंत्रज्ञान: - **Modular RAG**: FlashRAG, ComposeRAG - **Graph RAG**: LightRAG, HippoRAG - **Agentic RAG**: PlanRAG, Self-RAG RAG आणि एजंट मेमरी या दोन्हीमध्ये मॉडेलची क्षमता वाढवण्यासाठी बाह्य स्टोरेजमधून माहिती मिळवणे समाविष्ट आहे, परंतु या दोघांच्या डिझाइन तत्त्वज्ञानात मूलभूत फरक आहे: वैशिष्ट्ये RAG एजंट मेमरी मुख्य उद्दिष्ट वर्तमान क्वेरीसाठी संबंधित पार्श्वभूमी ज्ञान समर्थन वेळेनुसार सतत शिक्षण आणि जुळवून घेणारी वर्तणूक माहितीचा स्रोत सामान्यतः स्थिर, पूर्वनिर्मित ज्ञान आधार डायनॅमिकली व्युत्पन्न, एजंटच्या स्वतःच्या संवादात्मक अनुभवातून वैयक्तिक माहिती शोध ट्रिगर वापरकर्त्याच्या क्वेरीद्वारे निष्क्रियपणे ट्रिगर एजंटद्वारे सक्रियपणे कधी आणि काय शोधायचे हे ठरवले जाते माहिती अद्यतन ज्ञान आधार सामान्यतः ऑफलाइन अद्यतनित ऑनलाइन, सतत आणि निवडकपणे अद्यतनित अभिप्राय लूप थेट अभिप्राय यंत्रणा नाही वातावरणाशी संवाद साधून क्लोज्ड लूप तयार होतो **महत्वाचा फरक**: RAG हे **ज्ञान विस्तार साधन** आहे, तर एजंट मेमरी ही **शिकण्याची यंत्रणा** आहे. RAG "मला काय माहित आहे" या प्रश्नाचे उत्तर देते, तर एजंट मेमरी "मी काय शिकलो" या प्रश्नाचे उत्तर देते. ## एजंट मेमरी वि. LLM मेमरी LLM मेमरी संबंधित तंत्रज्ञान: - **Attention KV management**: Mixture-of-Memory - **Long context processing**: Mamba, Memformer, MoA, Sparseformer, NSA परिमाण LLM मेमरी एजंट मेमरी व्याख्या मॉडेल पॅरामीटर्समध्ये समाविष्ट केलेले ज्ञान किंवा संदर्भ विंडोमधील तात्पुरती माहिती एजंटला वातावरणाशी सतत संवाद साधण्यास, कार्ये शिकण्यास आणि दीर्घकाळ जुळवून घेण्यास समर्थन देणारी बाह्य प्रणाली वेळ स्केल प्री-ट्रेनिंग डेटा किंवा वर्तमान संभाषणाच्या संदर्भापुरते मर्यादित अनेक कार्ये, सत्रांमध्ये पसरलेले, आजीवन शिक्षणास समर्थन अद्ययावत क्षमता पॅरामीटर अद्यतन खर्चिक, संदर्भ माहिती अस्थिर कार्यक्षम, निवडक आणि गतिशील अद्यतन आणि उत्क्रांतीसाठी समर्थन सक्रियता क्वेरीला निष्क्रिय प्रतिसाद काय माहिती साठवायची, अद्यतनित करायची आणि पुनर्प्राप्त करायची हे सक्रियपणे ठरवते वातावरणाशी जोडणी वातावरणाशी थेट संवाद नाही वातावरणीय अभिप्रायाशी सखोलपणे एकत्रित, संवादात्मक शिक्षणास समर्थन **महत्वाचा फरक**: LLM मेमरी मूलतः **स्थिर** (पॅरामीटर्स निश्चित) किंवा **अल्पायुषी** (संदर्भ मर्यादित) असते, तर एजंट मेमरी **डायनॅमिक, टिकाऊ आणि पर्यावरण-आधारित** असते. ## एजंट मेमरी वि. संदर्भ अभियांत्रिकी संदर्भ अभियांत्रिकी संबंधित तंत्रज्ञान: - **Tool-integrated reasoning**: ReTool, ToolLLM, Toolformer, VTool-R1, ToRL - **Tool selection**: AutoTool, VisTA - **Communication protocol**: ANP, A2A, MCP, Agora पहलू संदर्भ अभियांत्रिकी एजंट मेमरी लक्ष केंद्रित करणे सिंगल-राउंड किंवा वर्तमान कार्यासाठी इनपुट ऑप्टिमायझेशन अनेक राउंड आणि कार्यांमध्ये माहितीचे कायमस्वरूपीकरण आणि उपयोग वेळ परिमाण वर्तमान सत्र दीर्घकालीन इतिहास माहिती निवड मानवनिर्मित डिझाइन किंवा हेयुरिस्टिक नियम स्वयंचलित निर्मिती, उत्क्रांती आणि पुनर्प्राप्ती यंत्रणा स्टेट मॅनेजमेंट टिकाऊ स्थिती नाही उत्क्रांती करण्यायोग्य मेमरी स्थितीचे स्पष्ट व्यवस्थापन **महत्वाचा फरक**: संदर्भ अभियांत्रिकी हे **प्रॉम्प्ट ऑप्टिमायझेशन तंत्र** आहे, तर एजंट मेमरी हे **स्टेट मॅनेजमेंट सिस्टम** आहे. पूर्वीचे "आता काय इनपुट करायचे" यावर लक्ष केंद्रित करते, तर नंतरचे "भूतकाळात काय लक्षात ठेवले, ते वर्तमान आणि भविष्यावर कसा परिणाम करते" यावर लक्ष केंद्रित करते.