107 ಪುಟಗಳ RAG ಮತ್ತು ಏಜೆಂಟ್&LLM ಮೆಮೊರಿ ಅವಲೋಕನ

ಇಂದು ನಾನು ರೆನ್‌ಮಿನ್ ವಿಶ್ವವಿದ್ಯಾಲಯ, ಫುಡಾನ್ ವಿಶ್ವವಿದ್ಯಾಲಯ, ಪೆಕಿಂಗ್ ವಿಶ್ವವಿದ್ಯಾಲಯ ಇತ್ಯಾದಿಗಳ 107 ಪುಟಗಳ ತಾಂತ್ರಿಕ ಅವಲೋಕನವನ್ನು ಹಂಚಿಕೊಳ್ಳುತ್ತೇನೆ, "AI ಏಜೆಂಟ್‌ಗಳ ಯುಗದಲ್ಲಿ ಮೆಮೊರಿ: ಒಂದು ಸಮೀಕ್ಷೆ ನಮೂನೆಗಳು, ಕಾರ್ಯಗಳು ಮತ್ತು ಡೈನಾಮಿಕ್ಸ್". ಯೋಜನೆಯ ವಿಳಾಸ: https://github.com/Shichun-Liu/Agent-Memory-Paper-List ಪ್ರಬಂಧದ ವಿಳಾಸ: https://arxiv.org/pdf/2512.13564 ಕಳೆದ ಎರಡು ವರ್ಷಗಳಲ್ಲಿ, ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಗಳ (LLM) AI ಏಜೆಂಟ್‌ಗಳಾಗಿ (AI Agents) ಅದ್ಭುತ ವಿಕಾಸವನ್ನು ನಾವು ನೋಡಿದ್ದೇವೆ. ಆಳವಾದ ಸಂಶೋಧನೆಯಿಂದ ಸಾಫ್ಟ್‌ವೇರ್ ಎಂಜಿನಿಯರಿಂಗ್‌ವರೆಗೆ, ವೈಜ್ಞಾನಿಕ ಆವಿಷ್ಕಾರದಿಂದ ಬಹು-ಏಜೆಂಟ್ ಸಹಯೋಗದವರೆಗೆ, ಈ ಮೂಲ ಮಾದರಿ-ಆಧಾರಿತ ಏಜೆಂಟ್‌ಗಳು ಕೃತಕ ಸಾಮಾನ್ಯ ಬುದ್ಧಿಮತ್ತೆಯ (AGI) ಗಡಿಗಳನ್ನು ತಳ್ಳುತ್ತಿವೆ. ಆದರೆ ಒಂದು ಪ್ರಮುಖ ಪ್ರಶ್ನೆ ಉದ್ಭವಿಸುತ್ತದೆ: **ಸ್ಥಿರ LLM ನಿಯತಾಂಕಗಳನ್ನು ತ್ವರಿತವಾಗಿ ನವೀಕರಿಸಲಾಗುವುದಿಲ್ಲ, ಏಜೆಂಟ್‌ಗಳು ನಿರಂತರ ಕಲಿಕೆ ಮತ್ತು ಹೊಂದಿಕೊಳ್ಳುವ ಸಾಮರ್ಥ್ಯವನ್ನು ಹೇಗೆ ಹೊಂದುವುದು?** ಉತ್ತರವೆಂದರೆ - **ನೆನಪು (Memory)**. > "ನೆನಪು ಎನ್ನುವುದು ಸ್ಥಿರ LLM ಅನ್ನು ನಿರಂತರವಾಗಿ ಪರಿಸರದೊಂದಿಗೆ ಸಂವಹನ ಮಾಡುವ ಮೂಲಕ ಹೊಂದಿಕೊಳ್ಳುವ ಏಜೆಂಟ್ ಆಗಿ ಪರಿವರ್ತಿಸುವ ಪ್ರಮುಖ ಸಾಮರ್ಥ್ಯವಾಗಿದೆ." **ಚಿತ್ರ 1** ಪ್ರಬಂಧವು ಪ್ರಸ್ತಾಪಿಸಿದ ಏಕೀಕೃತ ವರ್ಗೀಕರಣ ಚೌಕಟ್ಟನ್ನು ತೋರಿಸುತ್ತದೆ, ಏಜೆಂಟ್ ಮೆಮೊರಿಯನ್ನು **ನಮೂನೆಗಳು (Forms)**, **ಕಾರ್ಯಗಳು (Functions)**, **ಡೈನಾಮಿಕ್ಸ್ (Dynamics)** ಎಂಬ ಮೂರು ಆಯಾಮಗಳ ಪ್ರಕಾರ ಆಯೋಜಿಸುತ್ತದೆ ಮತ್ತು ಪ್ರತಿನಿಧಿ ವ್ಯವಸ್ಥೆಗಳನ್ನು ಈ ವರ್ಗೀಕರಣ ವ್ಯವಸ್ಥೆಗೆ ಮ್ಯಾಪ್ ಮಾಡುತ್ತದೆ. ಪ್ರಬಂಧವು ಏಜೆಂಟ್ ಮೆಮೊರಿ ಮತ್ತು ನಿಕಟವಾಗಿ ಸಂಬಂಧಿಸಿದ ಆದರೆ ಮೂಲಭೂತವಾಗಿ ವಿಭಿನ್ನವಾದ ಪರಿಕಲ್ಪನೆಗಳ ನಡುವೆ ಸ್ಪಷ್ಟವಾದ ವ್ಯತ್ಯಾಸವನ್ನು ಸಹ ಮಾಡುತ್ತದೆ: **LLM ಮೆಮೊರಿ**, **ರಿಟ್ರೈವಲ್ ಆಗ್ಮೆಂಟೆಡ್ ಜನರೇಷನ್ (RAG)** ಮತ್ತು **ಸಂದರ್ಭ ಎಂಜಿನಿಯರಿಂಗ್**. ಅವುಗಳೆಲ್ಲವೂ ಮಾಹಿತಿಯ ಸಂಗ್ರಹಣೆ ಮತ್ತು ಬಳಕೆಗೆ ಸಂಬಂಧಿಸಿದ್ದರೂ, ಗುರಿಗಳು, ಕಾರ್ಯವಿಧಾನಗಳು ಮತ್ತು ಅಪ್ಲಿಕೇಶನ್ ಸನ್ನಿವೇಶಗಳಲ್ಲಿ ಪ್ರಮುಖ ವ್ಯತ್ಯಾಸಗಳಿವೆ. ## ಏಜೆಂಟ್ ಮೆಮೊರಿ ತಂತ್ರಜ್ಞಾನ - **Self-Evolving Memory**: Memento, H2R - **Multimodal Memory**: Ella, ViloMem, M3-Agent - **Latent Memory**: MemoryLLM, M+, MemGen - **Parametric Memory**: Retroformer, Early experience - **RL-enabled Memory**: MemAgent, RMM, MemSearcher, MEM1, Mem-alpha, Memory-R1 ## ಏಜೆಂಟ್ ಮೆಮೊರಿ vs. RAG RAG ಸಂಬಂಧಿತ ತಂತ್ರಜ್ಞಾನಗಳು: - **Modular RAG**: FlashRAG, ComposeRAG - **Graph RAG**: LightRAG, HippoRAG - **Agentic RAG**: PlanRAG, Self-RAG RAG ಮತ್ತು ಏಜೆಂಟ್ ಮೆಮೊರಿ ಎರಡೂ ಮಾದರಿ ಸಾಮರ್ಥ್ಯಗಳನ್ನು ಹೆಚ್ಚಿಸಲು ಬಾಹ್ಯ ಸಂಗ್ರಹಣೆಯಿಂದ ಮಾಹಿತಿಯನ್ನು ಹಿಂಪಡೆಯುವುದನ್ನು ಒಳಗೊಂಡಿರುತ್ತದೆ, ಆದರೆ ಎರಡರ ವಿನ್ಯಾಸ ತತ್ವಶಾಸ್ತ್ರದಲ್ಲಿ ಮೂಲಭೂತ ವ್ಯತ್ಯಾಸವಿದೆ: ವೈಶಿಷ್ಟ್ಯRAGಏಜೆಂಟ್ ಮೆಮೊರಿ ಪ್ರಮುಖ ಗುರಿಪ್ರಸ್ತುತ ಪ್ರಶ್ನೆಗೆ ಸಂಬಂಧಿಸಿದ ಹಿನ್ನೆಲೆ ಜ್ಞಾನದ ಬೆಂಬಲವನ್ನು ಒದಗಿಸುವುದುಸಮಯದೊಂದಿಗೆ ನಿರಂತರ ಕಲಿಕೆ ಮತ್ತು ಹೊಂದಾಣಿಕೆಯ ನಡವಳಿಕೆ ಮಾಹಿತಿ ಮೂಲಸಾಮಾನ್ಯವಾಗಿ ಸ್ಥಿರವಾದ, ಪೂರ್ವ ನಿರ್ಮಿತ ಜ್ಞಾನದ ಆಧಾರಡೈನಾಮಿಕ್ ಆಗಿ ಉತ್ಪತ್ತಿಯಾದ, ಏಜೆಂಟ್‌ನ ಸ್ವಂತ ಸಂವಹನ ಅನುಭವದಿಂದ ಪಡೆದ ವೈಯಕ್ತಿಕ ಮಾಹಿತಿ ಹಿಂಪಡೆಯುವಿಕೆ ಪ್ರಚೋದಕಬಳಕೆದಾರರ ಪ್ರಶ್ನೆಯಿಂದ ನಿಷ್ಕ್ರಿಯವಾಗಿ ಪ್ರಚೋದಿಸಲ್ಪಟ್ಟಿದೆಏಜೆಂಟ್ ಯಾವಾಗ, ಏನನ್ನು ಹಿಂಪಡೆಯಬೇಕೆಂದು ಸಕ್ರಿಯವಾಗಿ ನಿರ್ಧರಿಸುತ್ತದೆ ಮಾಹಿತಿ ನವೀಕರಣಜ್ಞಾನದ ಆಧಾರವನ್ನು ಸಾಮಾನ್ಯವಾಗಿ ಆಫ್‌ಲೈನ್‌ನಲ್ಲಿ ನವೀಕರಿಸಲಾಗುತ್ತದೆಆನ್‌ಲೈನ್, ನಿರಂತರ, ಆಯ್ದವಾಗಿ ನವೀಕರಿಸಲಾಗುತ್ತದೆ ಪ್ರತಿಕ್ರಿಯೆ ಲೂಪ್ನೇರವಾದ ಪ್ರತಿಕ್ರಿಯೆ ಕಾರ್ಯವಿಧಾನವಿಲ್ಲಪರಿಸರದೊಂದಿಗೆ ಸಂವಹನದಿಂದ ಮುಚ್ಚಿದ ಲೂಪ್ ಅನ್ನು ರೂಪಿಸುತ್ತದೆ **ಪ್ರಮುಖ ವ್ಯತ್ಯಾಸ**: RAG ಒಂದು **ಜ್ಞಾನ ವಿಸ್ತರಣೆ ಸಾಧನ**, ಆದರೆ ಏಜೆಂಟ್ ಮೆಮೊರಿ ಒಂದು **ಕಲಿಕೆಯ ಕಾರ್ಯವಿಧಾನ**. RAG "ನನಗೆ ಏನು ಗೊತ್ತು" ಎಂದು ಉತ್ತರಿಸುತ್ತದೆ, ಏಜೆಂಟ್ ಮೆಮೊರಿ "ನಾನು ಏನು ಕಲಿತಿದ್ದೇನೆ" ಎಂದು ಉತ್ತರಿಸುತ್ತದೆ. ## ಏಜೆಂಟ್ ಮೆಮೊರಿ vs. LLM ಮೆಮೊರಿ LLM ಮೆಮೊರಿಗೆ ಸಂಬಂಧಿಸಿದ ತಂತ್ರಜ್ಞಾನಗಳು: - **Attention KV management**: Mixture-of-Memory - **Long context processing**: Mamba, Memformer, MoA, Sparseformer, NSA ಆಯಾಮLLM ಮೆಮೊರಿಏಜೆಂಟ್ ಮೆಮೊರಿ ವ್ಯಾಖ್ಯಾನಮಾದರಿ ನಿಯತಾಂಕಗಳಲ್ಲಿ ಅಂತರ್ಗತವಾಗಿರುವ ಜ್ಞಾನ, ಅಥವಾ ಸಂದರ್ಭ ವಿಂಡೋದಲ್ಲಿನ ತಾತ್ಕಾಲಿಕ ಮಾಹಿತಿಏಜೆಂಟ್ ಪರಿಸರದೊಂದಿಗೆ ನಿರಂತರವಾಗಿ ಸಂವಹನ ನಡೆಸಲು, ಕಾರ್ಯಗಳಾದ್ಯಂತ ಕಲಿಯಲು ಮತ್ತು ದೀರ್ಘಕಾಲೀನ ಹೊಂದಾಣಿಕೆಯನ್ನು ಬೆಂಬಲಿಸಲು ಬಾಹ್ಯ ವ್ಯವಸ್ಥೆ ಸಮಯದ ಪ್ರಮಾಣಪೂರ್ವ ತರಬೇತಿ ಡೇಟಾ ಅಥವಾ ಪ್ರಸ್ತುತ ಸಂಭಾಷಣೆಯ ಸಂದರ್ಭಕ್ಕೆ ಸೀಮಿತವಾಗಿದೆಬಹು ಕಾರ್ಯಗಳು, ಸೆಷನ್‌ಗಳನ್ನು ವ್ಯಾಪಿಸುತ್ತದೆ, ಜೀವಮಾನದ ಕಲಿಕೆಯನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ ನವೀಕರಿಸುವ ಸಾಮರ್ಥ್ಯನಿಯತಾಂಕ ನವೀಕರಣವು ದುಬಾರಿಯಾಗಿದೆ, ಸಂದರ್ಭ ಮಾಹಿತಿಯು ಬಾಷ್ಪಶೀಲವಾಗಿರುತ್ತದೆಸಮರ್ಥ, ಆಯ್ದ ಡೈನಾಮಿಕ್ ನವೀಕರಣ ಮತ್ತು ವಿಕಾಸವನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ ಸಕ್ರಿಯತೆಪ್ರಶ್ನೆಗೆ ನಿಷ್ಕ್ರಿಯವಾಗಿ ಪ್ರತಿಕ್ರಿಯಿಸುತ್ತದೆಯಾವ ಮಾಹಿತಿಯನ್ನು ಸಂಗ್ರಹಿಸಬೇಕು, ನವೀಕರಿಸಬೇಕು ಮತ್ತು ಹಿಂಪಡೆಯಬೇಕು ಎಂಬುದನ್ನು ಸಕ್ರಿಯವಾಗಿ ನಿರ್ಧರಿಸುತ್ತದೆ ಪರಿಸರದೊಂದಿಗೆ ಜೋಡಣೆಪರಿಸರದೊಂದಿಗೆ ನೇರ ಸಂವಹನವಿಲ್ಲಪರಿಸರ ಪ್ರತಿಕ್ರಿಯೆಯನ್ನು ಆಳವಾಗಿ ಸಂಯೋಜಿಸುತ್ತದೆ, ಸಂವಾದಾತ್ಮಕ ಕಲಿಕೆಯನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ **ಪ್ರಮುಖ ವ್ಯತ್ಯಾಸ**: LLM ಮೆಮೊರಿ ಮೂಲಭೂತವಾಗಿ **ಸ್ಥಿರವಾಗಿರುತ್ತದೆ** (ನಿಯತಾಂಕಗಳು ಸ್ಥಿರವಾಗಿರುತ್ತವೆ) ಅಥವಾ **ಸಣ್ಣಕಾಲಿಕವಾಗಿರುತ್ತದೆ** (ಸಂದರ್ಭವು ಸೀಮಿತವಾಗಿರುತ್ತದೆ), ಆದರೆ ಏಜೆಂಟ್ ಮೆಮೊರಿ **ಡೈನಾಮಿಕ್, ನಿರಂತರ ಮತ್ತು ಪರಿಸರ ಜೋಡಣೆಯಾಗಿರುತ್ತದೆ**. ## ಏಜೆಂಟ್ ಮೆಮೊರಿ vs. ಸಂದರ್ಭ ಎಂಜಿನಿಯರಿಂಗ್ ಸಂದರ್ಭ ಎಂಜಿನಿಯರಿಂಗ್‌ಗೆ ಸಂಬಂಧಿಸಿದ ತಂತ್ರಜ್ಞಾನಗಳು: - **Tool-integrated reasoning**: ReTool, ToolLLM, Toolformer, VTool-R1, ToRL - **Tool selection**: AutoTool, VisTA - **Communication protocol**: ANP, A2A, MCP, Agora ಅಂಶಸಂದರ್ಭ ಎಂಜಿನಿಯರಿಂಗ್ಏಜೆಂಟ್ ಮೆಮೊರಿ ಗಮನದ ಕೇಂದ್ರಬಿಂದುಏಕ ಸುತ್ತಿನ ಅಥವಾ ಪ್ರಸ್ತುತ ಕಾರ್ಯದ ಇನ್‌ಪುಟ್ ಆಪ್ಟಿಮೈಸೇಶನ್‌ಬಹು ಸುತ್ತುಗಳು, ಬಹು ಕಾರ್ಯಗಳ ಮಾಹಿತಿಯ ನಿರಂತರತೆ ಮತ್ತು ಬಳಕೆ ಸಮಯದ ಆಯಾಮಪ್ರಸ್ತುತ ಸೆಷನ್ದೀರ್ಘಕಾಲೀನ ಇತಿಹಾಸ ಮಾಹಿತಿ ಆಯ್ಕೆಮಾನವ ವಿನ್ಯಾಸ ಅಥವಾ ಅನುಭವದ ನಿಯಮಗಳುಸ್ವಯಂಚಾಲಿತ ರಚನೆ, ವಿಕಾಸ, ಹಿಂಪಡೆಯುವಿಕೆ ಕಾರ್ಯವಿಧಾನ ಸ್ಥಿತಿ ನಿರ್ವಹಣೆಶಾಶ್ವತ ಸ್ಥಿತಿಯಿಲ್ಲವಿಕಸನಗೊಳ್ಳುವ ಮೆಮೊರಿ ಸ್ಥಿತಿಯನ್ನು ಸ್ಪಷ್ಟವಾಗಿ ನಿರ್ವಹಿಸುತ್ತದೆ **ಪ್ರಮುಖ ವ್ಯತ್ಯಾಸ**: ಸಂದರ್ಭ ಎಂಜಿನಿಯರಿಂಗ್ ಒಂದು **ಪ್ರಾಂಪ್ಟ್ ಆಪ್ಟಿಮೈಸೇಶನ್ ತಂತ್ರ**, ಏಜೆಂಟ್ ಮೆಮೊರಿ ಒಂದು **ಸ್ಥಿತಿ ನಿರ್ವಹಣಾ ವ್ಯವಸ್ಥೆ**. ಮೊದಲನೆಯದು "ಈಗ ಏನು ನಮೂದಿಸಬೇಕು" ಎಂಬುದರ ಮೇಲೆ ಕೇಂದ್ರೀಕರಿಸುತ್ತದೆ, ಎರಡನೆಯದು "ಹಿಂದೆ ಏನು ನೆನಪಿಟ್ಟುಕೊಂಡಿದ್ದೇನೆ, ಅದು ಈಗ ಮತ್ತು ಭವಿಷ್ಯದ ಮೇಲೆ ಹೇಗೆ ಪರಿಣಾಮ ಬೀರುತ್ತದೆ" ಎಂಬುದರ ಮೇಲೆ ಕೇಂದ್ರೀಕರಿಸುತ್ತದೆ.