एक 107 पेज RAG और एजेंट और LLM मेमोरी की समीक्षा

आज मैं रेन्मिन विश्वविद्यालय, फुडान विश्वविद्यालय, पेकिंग विश्वविद्यालय आदि की 107 पेज की तकनीकी समीक्षा साझा कर रहा हूँ, जिसका शीर्षक है "AI एजेंटों के युग में मेमोरी: एक सर्वेक्षण फॉर्म, फ़ंक्शन और डायनेमिक्स"।

प्रोजेक्ट एड्रेस: https://github.com/Shichun-Liu/Agent-Memory-Paper-List

पेपर एड्रेस: https://arxiv.org/pdf/2512.13564

पिछले दो वर्षों में, हमने बड़े भाषा मॉडल (LLM) से AI एजेंटों (AI Agents) के आश्चर्यजनक विकास को देखा है। डीप रिसर्च से लेकर सॉफ्टवेयर इंजीनियरिंग तक, वैज्ञानिक खोज से लेकर बहु-एजेंट सहयोग तक, ये बुनियादी मॉडल-आधारित एजेंट कृत्रिम सामान्य बुद्धिमत्ता (AGI) की सीमाओं को आगे बढ़ा रहे हैं।

लेकिन एक मुख्य प्रश्न उठता है: स्थिर LLM पैरामीटर को जल्दी से अपडेट नहीं किया जा सकता है, एजेंटों को निरंतर सीखने और अनुकूलन करने की क्षमता कैसे दी जाए?

उत्तर है - मेमोरी (Memory)।

"मेमोरी स्थिर LLM को एक ऐसे एजेंट में बदलने की महत्वपूर्ण क्षमता है जो पर्यावरण के साथ बातचीत के माध्यम से लगातार अनुकूलन करने में सक्षम है।"

Figure 1 पेपर द्वारा प्रस्तावित एकीकृत वर्गीकरण ढांचे को दर्शाता है, जो एजेंट मेमोरी को फॉर्म (Forms), फ़ंक्शन (Functions) और डायनेमिक्स (Dynamics) के तीन आयामों के अनुसार व्यवस्थित करता है, और इस वर्गीकरण प्रणाली में प्रतिनिधि प्रणालियों को मैप करता है।

पेपर एजेंट मेमोरी और कुछ निकट से संबंधित लेकिन अनिवार्य रूप से अलग अवधारणाओं के बीच स्पष्ट रूप से अंतर करता है: LLM मेमोरी, पुनर्प्राप्ति संवर्धित पीढ़ी (RAG) और संदर्भ इंजीनियरिंग। हालांकि वे सभी जानकारी के भंडारण और उपयोग से संबंधित हैं, लेकिन लक्ष्य, तंत्र और अनुप्रयोग परिदृश्यों में महत्वपूर्ण अंतर हैं।

एजेंट मेमोरी तकनीक

• Self-Evolving Memory: Memento, H2R

• Multimodal Memory: Ella, ViloMem, M3-Agent

• Latent Memory: MemoryLLM, M+, MemGen

• Parametric Memory: Retroformer, Early experience

• RL-enabled Memory: MemAgent, RMM, MemSearcher, MEM1, Mem-alpha, Memory-R1

एजेंट मेमोरी बनाम RAG

RAG से संबंधित तकनीक:

• Modular RAG: FlashRAG, ComposeRAG

• Graph RAG: LightRAG, HippoRAG

• Agentic RAG: PlanRAG, Self-RAG

RAG और एजेंट मेमोरी दोनों में मॉडल क्षमताओं को बढ़ाने के लिए बाहरी स्टोरेज से जानकारी प्राप्त करना शामिल है, लेकिन दोनों के डिजाइन दर्शन में एक मौलिक अंतर है:

विशेषताएँ RAG एजेंट मेमोरी मुख्य लक्ष्य वर्तमान क्वेरी के लिए प्रासंगिक पृष्ठभूमि ज्ञान समर्थन प्रदान करना समय के साथ निरंतर सीखने और अनुकूली व्यवहार जानकारी का स्रोत आमतौर पर स्थिर, पूर्व-निर्मित ज्ञान आधार गतिशील रूप से उत्पन्न, एजेंट के अपने इंटरैक्टिव अनुभव से व्यक्तिगत जानकारी पुनर्प्राप्ति ट्रिगर उपयोगकर्ता क्वेरी द्वारा निष्क्रिय रूप से ट्रिगर किया गया एजेंट द्वारा सक्रिय रूप से यह तय करना कि कब, क्या पुनर्प्राप्त करना है जानकारी अपडेट ज्ञान आधार आमतौर पर ऑफ़लाइन अपडेट किया जाता है ऑनलाइन, लगातार, चुनिंदा रूप से अपडेट किया जाता है प्रतिक्रिया लूप कोई प्रत्यक्ष प्रतिक्रिया तंत्र नहीं पर्यावरण के साथ बातचीत एक बंद लूप बनाती है

मुख्य अंतर: RAG एक ज्ञान विस्तार उपकरण है, जबकि एजेंट मेमोरी एक सीखने का तंत्र है। RAG उत्तर देता है "मुझे क्या पता है", एजेंट मेमोरी उत्तर देता है "मैंने क्या सीखा है"।

एजेंट मेमोरी बनाम LLM मेमोरी

LLM मेमोरी से संबंधित तकनीक:

• Attention KV management: Mixture-of-Memory

• Long context processing: Mamba, Memformer, MoA, Sparseformer, NSA

आयाम LLM मेमोरी एजेंट मेमोरी परिभाषा मॉडल पैरामीटर में आंतरिक ज्ञान, या संदर्भ विंडो में अस्थायी जानकारी एजेंटों को पर्यावरण के साथ लगातार बातचीत, क्रॉस-टास्क लर्निंग और दीर्घकालिक अनुकूलन का समर्थन करने वाली बाहरी प्रणाली समय पैमाना पूर्व-प्रशिक्षण डेटा या वर्तमान वार्तालाप संदर्भ तक सीमित कई कार्यों, सत्रों में फैला हुआ, आजीवन सीखने का समर्थन करता है अपडेट करने की क्षमता पैरामीटर अपडेट की लागत अधिक है, संदर्भ जानकारी अस्थिर है कुशल, चुनिंदा गतिशील अपडेट और विकास का समर्थन करता है सक्रियता निष्क्रिय रूप से क्वेरी का जवाब देना सक्रिय रूप से यह तय करना कि क्या जानकारी संग्रहीत, अपडेट, पुनर्प्राप्त करनी है पर्यावरण के साथ युग्मन पर्यावरण के साथ कोई सीधा संपर्क नहीं पर्यावरण प्रतिक्रिया के साथ गहराई से एकीकृत, इंटरैक्टिव सीखने का समर्थन करता है

मुख्य अंतर: LLM मेमोरी अनिवार्य रूप से स्थिर (पैरामीटर तय) या अस्थायी (संदर्भ सीमित) है, जबकि एजेंट मेमोरी गतिशील, स्थायी, पर्यावरण युग्मित है।

एजेंट मेमोरी बनाम संदर्भ इंजीनियरिंग

संदर्भ इंजीनियरिंग से संबंधित तकनीक:

• Tool-integrated reasoning: ReTool, ToolLLM, Toolformer, VTool-R1, ToRL

• Tool selection: AutoTool, VisTA

• Communication protocol: ANP, A2A, MCP, Agora

पहलू संदर्भ इंजीनियरिंग एजेंट मेमोरी ध्यान केंद्रित करना एकल-मोड़ या वर्तमान कार्य के लिए इनपुट अनुकूलन बहु-मोड़, बहु-कार्य जानकारी का स्थायीकरण और उपयोग समय आयाम वर्तमान सत्र लंबा इतिहास जानकारी चयन मैन्युअल रूप से डिज़ाइन किए गए या अनुमानी नियम स्वचालित गठन, विकास, पुनर्प्राप्ति तंत्र स्थिति प्रबंधन कोई स्थायी स्थिति नहीं स्पष्ट रूप से विकसित होने योग्य मेमोरी स्थिति बनाए रखता है

मुख्य अंतर: संदर्भ इंजीनियरिंग एक प्रॉम्प्ट ऑप्टिमाइजेशन तकनीक है, एजेंट मेमोरी एक स्टेट मैनेजमेंट सिस्टम है। पहला ध्यान केंद्रित करता है "अब क्या इनपुट करें", दूसरा ध्यान केंद्रित करता है "अतीत में क्या याद रखा गया, यह वर्तमान और भविष्य को कैसे प्रभावित करता है"।