ਇੱਕ 107 ਸਫ਼ਿਆਂ ਦੀ RAG ਅਤੇ ਏਜੰਟ ਅਤੇ LLM ਮੈਮੋਰੀ ਸਮੀਖਿਆ

ਅੱਜ ਮੈਂ ਰੇਨਮਿਨ ਯੂਨੀਵਰਸਿਟੀ, ਫੁਡਾਨ ਯੂਨੀਵਰਸਿਟੀ, ਪੇਕਿੰਗ ਯੂਨੀਵਰਸਿਟੀ ਆਦਿ ਦੁਆਰਾ 107 ਸਫ਼ਿਆਂ ਦੀ ਤਕਨੀਕੀ ਸਮੀਖਿਆ ਸਾਂਝੀ ਕਰ ਰਿਹਾ ਹਾਂ, ਜਿਸਦਾ ਸਿਰਲੇਖ ਹੈ "AI ਏਜੰਟਾਂ ਦੇ ਯੁੱਗ ਵਿੱਚ ਮੈਮੋਰੀ: ਇੱਕ ਸਰਵੇਖਣ ਫਾਰਮ, ਫੰਕਸ਼ਨ ਅਤੇ ਡਾਇਨਾਮਿਕਸ"।

ਪ੍ਰੋਜੈਕਟ ਦਾ ਪਤਾ: https://github.com/Shichun-Liu/Agent-Memory-Paper-List

ਪੇਪਰ ਦਾ ਪਤਾ: https://arxiv.org/pdf/2512.13564

ਪਿਛਲੇ ਦੋ ਸਾਲਾਂ ਵਿੱਚ, ਅਸੀਂ ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲਾਂ (LLMs) ਤੋਂ AI ਬੁੱਧੀਮਾਨ ਏਜੰਟਾਂ (AI Agents) ਵਿੱਚ ਸ਼ਾਨਦਾਰ ਵਿਕਾਸ ਦੇਖਿਆ ਹੈ। ਡੀਪ ਰਿਸਰਚ ਤੋਂ ਲੈ ਕੇ ਸਾਫਟਵੇਅਰ ਇੰਜੀਨੀਅਰਿੰਗ ਤੱਕ, ਵਿਗਿਆਨਕ ਖੋਜ ਤੋਂ ਲੈ ਕੇ ਮਲਟੀ-ਏਜੰਟ ਸਹਿਯੋਗ ਤੱਕ, ਇਹ ਬੁਨਿਆਦੀ ਮਾਡਲ-ਅਧਾਰਤ ਏਜੰਟ ਆਰਟੀਫੀਸ਼ੀਅਲ ਜਨਰਲ ਇੰਟੈਲੀਜੈਂਸ (AGI) ਦੀਆਂ ਸੀਮਾਵਾਂ ਨੂੰ ਅੱਗੇ ਵਧਾ ਰਹੇ ਹਨ।

ਪਰ ਇੱਕ ਮੁੱਖ ਸਵਾਲ ਉੱਠਦਾ ਹੈ: ਸਥਿਰ LLM ਪੈਰਾਮੀਟਰਾਂ ਨੂੰ ਤੇਜ਼ੀ ਨਾਲ ਅੱਪਡੇਟ ਨਹੀਂ ਕੀਤਾ ਜਾ ਸਕਦਾ, ਏਜੰਟਾਂ ਨੂੰ ਨਿਰੰਤਰ ਸਿੱਖਣ ਅਤੇ ਅਨੁਕੂਲ ਹੋਣ ਦੀ ਸਮਰੱਥਾ ਕਿਵੇਂ ਦਿੱਤੀ ਜਾਵੇ?

ਜਵਾਬ ਹੈ - ਮੈਮੋਰੀ (Memory)।

"ਮੈਮੋਰੀ ਇੱਕ ਸਥਿਰ LLM ਨੂੰ ਇੱਕ ਬੁੱਧੀਮਾਨ ਏਜੰਟ ਵਿੱਚ ਬਦਲਣ ਦੀ ਕੁੰਜੀ ਹੈ ਜੋ ਵਾਤਾਵਰਣ ਨਾਲ ਗੱਲਬਾਤ ਦੁਆਰਾ ਲਗਾਤਾਰ ਅਨੁਕੂਲ ਹੋਣ ਦੇ ਸਮਰੱਥ ਹੈ।"

ਚਿੱਤਰ 1 ਪੇਪਰ ਦੁਆਰਾ ਪ੍ਰਸਤਾਵਿਤ ਇੱਕਸਾਰ ਵਰਗੀਕਰਨ ਫਰੇਮਵਰਕ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ, ਜੋ ਏਜੰਟ ਮੈਮੋਰੀ ਨੂੰ ਫਾਰਮ (Forms), ਫੰਕਸ਼ਨ (Functions), ਅਤੇ ਡਾਇਨਾਮਿਕਸ (Dynamics) ਦੇ ਤਿੰਨ ਪਹਿਲੂਆਂ ਦੇ ਅਨੁਸਾਰ ਸੰਗਠਿਤ ਕਰਦਾ ਹੈ, ਅਤੇ ਪ੍ਰਤੀਨਿਧੀ ਪ੍ਰਣਾਲੀਆਂ ਨੂੰ ਇਸ ਵਰਗੀਕਰਨ ਪ੍ਰਣਾਲੀ ਵਿੱਚ ਮੈਪ ਕਰਦਾ ਹੈ।

ਪੇਪਰ ਏਜੰਟ ਮੈਮੋਰੀ ਅਤੇ ਕਈ ਨਜ਼ਦੀਕੀ ਸਬੰਧਤ ਪਰ ਜ਼ਰੂਰੀ ਤੌਰ 'ਤੇ ਵੱਖਰੀਆਂ ਧਾਰਨਾਵਾਂ ਵਿੱਚ ਵੀ ਸਪੱਸ਼ਟ ਤੌਰ 'ਤੇ ਅੰਤਰ ਕਰਦਾ ਹੈ: LLM ਮੈਮੋਰੀ, ਰੀਟਰੀਵਲ ਔਗਮੈਂਟਡ ਜਨਰੇਸ਼ਨ (RAG), ਅਤੇ ਸੰਦਰਭ ਇੰਜੀਨੀਅਰਿੰਗ। ਹਾਲਾਂਕਿ ਇਹ ਸਾਰੇ ਜਾਣਕਾਰੀ ਦੇ ਸਟੋਰੇਜ ਅਤੇ ਉਪਯੋਗ ਨਾਲ ਸਬੰਧਤ ਹਨ, ਪਰ ਟੀਚਿਆਂ, ਵਿਧੀਵਾਂ ਅਤੇ ਐਪਲੀਕੇਸ਼ਨ ਦ੍ਰਿਸ਼ਾਂ ਵਿੱਚ ਮੁੱਖ ਅੰਤਰ ਹਨ।

ਬੁੱਧੀਮਾਨ ਏਜੰਟ ਮੈਮੋਰੀ ਤਕਨਾਲੋਜੀ

• Self-Evolving Memory: Memento, H2R

• Multimodal Memory: Ella, ViloMem, M3-Agent

• Latent Memory: MemoryLLM, M+, MemGen

• Parametric Memory: Retroformer, Early experience

• RL-enabled Memory: MemAgent, RMM, MemSearcher, MEM1, Mem-alpha, Memory-R1

ਬੁੱਧੀਮਾਨ ਏਜੰਟ ਮੈਮੋਰੀ ਬਨਾਮ RAG

RAG ਨਾਲ ਸਬੰਧਤ ਤਕਨਾਲੋਜੀਆਂ:

• Modular RAG: FlashRAG, ComposeRAG

• Graph RAG: LightRAG, HippoRAG

• Agentic RAG: PlanRAG, Self-RAG

RAG ਅਤੇ ਬੁੱਧੀਮਾਨ ਏਜੰਟ ਮੈਮੋਰੀ ਦੋਵਾਂ ਵਿੱਚ ਮਾਡਲ ਸਮਰੱਥਾਵਾਂ ਨੂੰ ਵਧਾਉਣ ਲਈ ਬਾਹਰੀ ਸਟੋਰੇਜ ਤੋਂ ਜਾਣਕਾਰੀ ਪ੍ਰਾਪਤ ਕਰਨਾ ਸ਼ਾਮਲ ਹੈ, ਪਰ ਦੋਵਾਂ ਦੇ ਡਿਜ਼ਾਈਨ ਫ਼ਲਸਫ਼ੇ ਵਿੱਚ ਇੱਕ ਜ਼ਰੂਰੀ ਅੰਤਰ ਹੈ:

ਵਿਸ਼ੇਸ਼ਤਾ RAG ਬੁੱਧੀਮਾਨ ਏਜੰਟ ਮੈਮੋਰੀ ਮੁੱਖ ਟੀਚਾ ਮੌਜੂਦਾ ਪੁੱਛਗਿੱਛ ਲਈ ਸੰਬੰਧਿਤ ਪਿਛੋਕੜ ਜਾਣਕਾਰੀ ਸਹਾਇਤਾ ਪ੍ਰਦਾਨ ਕਰਨਾ ਸਮੇਂ ਦੇ ਨਾਲ ਨਿਰੰਤਰ ਸਿੱਖਣ ਅਤੇ ਸਵੈ-ਅਨੁਕੂਲ ਵਿਵਹਾਰ ਜਾਣਕਾਰੀ ਦਾ ਸਰੋਤ ਆਮ ਤੌਰ 'ਤੇ ਸਥਿਰ, ਪੂਰਵ-ਬਣਾਇਆ ਗਿਆ ਗਿਆਨ ਅਧਾਰ ਗਤੀਸ਼ੀਲ ਤੌਰ 'ਤੇ ਤਿਆਰ ਕੀਤਾ ਗਿਆ, ਏਜੰਟ ਦੇ ਆਪਣੇ ਪਰਸਪਰ ਪ੍ਰਭਾਵ ਅਨੁਭਵ ਤੋਂ ਵਿਅਕਤੀਗਤ ਜਾਣਕਾਰੀ ਪ੍ਰਾਪਤੀ ਟਰਿੱਗਰ ਉਪਭੋਗਤਾ ਪੁੱਛਗਿੱਛ ਦੁਆਰਾ ਪੈਸਿਵ ਟਰਿੱਗਰ ਏਜੰਟ ਦੁਆਰਾ ਸਰਗਰਮੀ ਨਾਲ ਇਹ ਫੈਸਲਾ ਕਰਨਾ ਕਿ ਕਦੋਂ, ਕੀ ਪ੍ਰਾਪਤ ਕਰਨਾ ਹੈ ਜਾਣਕਾਰੀ ਅੱਪਡੇਟ ਗਿਆਨ ਅਧਾਰ ਆਮ ਤੌਰ 'ਤੇ ਔਫਲਾਈਨ ਅੱਪਡੇਟ ਕੀਤਾ ਜਾਂਦਾ ਹੈ ਔਨਲਾਈਨ, ਨਿਰੰਤਰ, ਚੋਣਵੇਂ ਤੌਰ 'ਤੇ ਅੱਪਡੇਟ ਕੀਤਾ ਜਾਂਦਾ ਹੈ ਫੀਡਬੈਕ ਲੂਪ ਵਾਤਾਵਰਣ ਨਾਲ ਪਰਸਪਰ ਪ੍ਰਭਾਵ ਦੁਆਰਾ ਬੰਦ ਲੂਪ ਬਣਾਉਣ ਲਈ ਕੋਈ ਸਿੱਧਾ ਫੀਡਬੈਕ ਵਿਧੀ ਨਹੀਂ

ਮੁੱਖ ਅੰਤਰ: RAG ਇੱਕ ਗਿਆਨ ਵਿਸਤਾਰ ਸਾਧਨ ਹੈ, ਜਦੋਂ ਕਿ ਬੁੱਧੀਮਾਨ ਏਜੰਟ ਮੈਮੋਰੀ ਇੱਕ ਸਿੱਖਣ ਵਿਧੀ ਹੈ। RAG ਜਵਾਬ ਦਿੰਦਾ ਹੈ "ਮੈਂ ਕੀ ਜਾਣਦਾ ਹਾਂ", ਬੁੱਧੀਮਾਨ ਏਜੰਟ ਮੈਮੋਰੀ ਜਵਾਬ ਦਿੰਦਾ ਹੈ "ਮੈਂ ਕੀ ਸਿੱਖਿਆ ਹੈ"।

ਬੁੱਧੀਮਾਨ ਏਜੰਟ ਮੈਮੋਰੀ ਬਨਾਮ LLM ਮੈਮੋਰੀ

LLM ਮੈਮੋਰੀ ਨਾਲ ਸਬੰਧਤ ਤਕਨਾਲੋਜੀਆਂ:

• Attention KV management: Mixture-of-Memory

• Long context processing: Mamba, Memformer, MoA, Sparseformer, NSA

ਪਹਿਲੂ LLM ਮੈਮੋਰੀ ਬੁੱਧੀਮਾਨ ਏਜੰਟ ਮੈਮੋਰੀ ਪਰਿਭਾਸ਼ਾ ਮਾਡਲ ਪੈਰਾਮੀਟਰਾਂ ਵਿੱਚ ਅੰਦਰੂਨੀ ਗਿਆਨ, ਜਾਂ ਸੰਦਰਭ ਵਿੰਡੋ ਵਿੱਚ ਅਸਥਾਈ ਜਾਣਕਾਰੀ ਵਾਤਾਵਰਣ ਨਾਲ ਨਿਰੰਤਰ ਪਰਸਪਰ ਪ੍ਰਭਾਵ, ਕਾਰਜਾਂ ਵਿੱਚ ਸਿੱਖਣ ਅਤੇ ਲੰਬੇ ਸਮੇਂ ਦੇ ਅਨੁਕੂਲਤਾ ਦਾ ਸਮਰਥਨ ਕਰਨ ਵਾਲੀ ਬਾਹਰੀ ਪ੍ਰਣਾਲੀ ਸਮਾਂ ਸਕੇਲ ਪੂਰਵ-ਸਿਖਲਾਈ ਡੇਟਾ ਜਾਂ ਮੌਜੂਦਾ ਗੱਲਬਾਤ ਸੰਦਰਭ ਤੱਕ ਸੀਮਿਤ ਕਈ ਕਾਰਜਾਂ, ਸੈਸ਼ਨਾਂ ਵਿੱਚ ਫੈਲਿਆ ਹੋਇਆ, ਜੀਵਨ ਭਰ ਸਿੱਖਣ ਦਾ ਸਮਰਥਨ ਕਰਦਾ ਹੈ ਅੱਪਡੇਟ ਕਰਨ ਦੀ ਯੋਗਤਾ ਪੈਰਾਮੀਟਰ ਅੱਪਡੇਟ ਦੀ ਲਾਗਤ ਬਹੁਤ ਜ਼ਿਆਦਾ ਹੈ, ਸੰਦਰਭ ਜਾਣਕਾਰੀ ਅਸਥਿਰ ਹੈ ਕੁਸ਼ਲ, ਚੋਣਵੇਂ ਗਤੀਸ਼ੀਲ ਅੱਪਡੇਟ ਅਤੇ ਵਿਕਾਸ ਦਾ ਸਮਰਥਨ ਕਰਦਾ ਹੈ ਸਰਗਰਮੀ ਪੁੱਛਗਿੱਛਾਂ ਦਾ ਪੈਸਿਵ ਜਵਾਬ ਸਰਗਰਮੀ ਨਾਲ ਇਹ ਫੈਸਲਾ ਕਰਨਾ ਕਿ ਕੀ ਜਾਣਕਾਰੀ ਸਟੋਰ ਕਰਨੀ ਹੈ, ਅੱਪਡੇਟ ਕਰਨੀ ਹੈ, ਪ੍ਰਾਪਤ ਕਰਨੀ ਹੈ ਵਾਤਾਵਰਣ ਨਾਲ ਜੋੜੀ ਵਾਤਾਵਰਣ ਨਾਲ ਕੋਈ ਸਿੱਧਾ ਪਰਸਪਰ ਪ੍ਰਭਾਵ ਨਹੀਂ ਵਾਤਾਵਰਣ ਫੀਡਬੈਕ ਨਾਲ ਡੂੰਘਾਈ ਨਾਲ ਏਕੀਕ੍ਰਿਤ, ਪਰਸਪਰ ਪ੍ਰਭਾਵੀ ਸਿੱਖਣ ਦਾ ਸਮਰਥਨ ਕਰਦਾ ਹੈ

ਮੁੱਖ ਅੰਤਰ: LLM ਮੈਮੋਰੀ ਜ਼ਰੂਰੀ ਤੌਰ 'ਤੇ ਸਥਿਰ (ਪੈਰਾਮੀਟਰ ਸਥਿਰ) ਜਾਂ ਥੋੜ੍ਹੇ ਸਮੇਂ ਲਈ (ਸੰਦਰਭ ਸੀਮਤ) ਹੁੰਦੀ ਹੈ, ਜਦੋਂ ਕਿ ਬੁੱਧੀਮਾਨ ਏਜੰਟ ਮੈਮੋਰੀ ਗਤੀਸ਼ੀਲ, ਸਥਾਈ, ਵਾਤਾਵਰਣ ਨਾਲ ਜੋੜੀ ਹੁੰਦੀ ਹੈ।

ਬੁੱਧੀਮਾਨ ਏਜੰਟ ਮੈਮੋਰੀ ਬਨਾਮ ਸੰਦਰਭ ਇੰਜੀਨੀਅਰਿੰਗ

ਸੰਦਰਭ ਇੰਜੀਨੀਅਰਿੰਗ ਨਾਲ ਸਬੰਧਤ ਤਕਨਾਲੋਜੀਆਂ:

• Tool-integrated reasoning: ReTool, ToolLLM, Toolformer, VTool-R1, ToRL

• Tool selection: AutoTool, VisTA

• Communication protocol: ANP, A2A, MCP, Agora

ਪਹਿਲੂ ਸੰਦਰਭ ਇੰਜੀਨੀਅਰਿੰਗ ਬੁੱਧੀਮਾਨ ਏਜੰਟ ਮੈਮੋਰੀ ਫੋਕਸ ਸਿੰਗਲ-ਰਾਊਂਡ ਜਾਂ ਮੌਜੂਦਾ ਕਾਰਜ ਲਈ ਇਨਪੁਟ ਅਨੁਕੂਲਤਾ ਕਈ ਰਾਊਂਡਾਂ, ਕਾਰਜਾਂ ਵਿੱਚ ਜਾਣਕਾਰੀ ਦਾ ਸਥਾਈਕਰਨ ਅਤੇ ਉਪਯੋਗ ਸਮਾਂ ਪਹਿਲੂ ਮੌਜੂਦਾ ਸੈਸ਼ਨ ਲੰਬਾ ਇਤਿਹਾਸ ਜਾਣਕਾਰੀ ਦੀ ਚੋਣ ਮਨੁੱਖੀ ਡਿਜ਼ਾਈਨ ਜਾਂ ਹੀਊਰਿਸਟਿਕ ਨਿਯਮ ਸਵੈਚਲਿਤ ਰੂਪ ਨਾਲ ਬਣਤਰ, ਵਿਕਾਸ, ਪ੍ਰਾਪਤੀ ਵਿਧੀ ਸਥਿਤੀ ਪ੍ਰਬੰਧਨ ਕੋਈ ਸਥਾਈ ਸਥਿਤੀ ਨਹੀਂ ਵਿਕਸਤ ਹੋਣ ਯੋਗ ਮੈਮੋਰੀ ਸਥਿਤੀ ਦੀ ਸਪੱਸ਼ਟ ਤੌਰ 'ਤੇ ਸਾਂਭ-ਸੰਭਾਲ

ਮੁੱਖ ਅੰਤਰ: ਸੰਦਰਭ ਇੰਜੀਨੀਅਰਿੰਗ ਇੱਕ ਪ੍ਰੋਂਪਟ ਅਨੁਕੂਲਤਾ ਤਕਨੀਕ ਹੈ, ਬੁੱਧੀਮਾਨ ਏਜੰਟ ਮੈਮੋਰੀ ਇੱਕ ਸਥਿਤੀ ਪ੍ਰਬੰਧਨ ਪ੍ਰਣਾਲੀ ਹੈ। ਪਹਿਲਾ ਇਸ ਗੱਲ 'ਤੇ ਧਿਆਨ ਕੇਂਦਰਤ ਕਰਦਾ ਹੈ ਕਿ "ਹੁਣ ਕੀ ਇਨਪੁਟ ਕਰਨਾ ਹੈ", ਬਾਅਦ ਵਾਲਾ ਇਸ ਗੱਲ 'ਤੇ ਧਿਆਨ ਕੇਂਦਰਤ ਕਰਦਾ ਹੈ ਕਿ "ਅਤੀਤ ਵਿੱਚ ਕੀ ਯਾਦ ਰੱਖਿਆ ਗਿਆ ਸੀ, ਇਹ ਹੁਣ ਅਤੇ ਭਵਿੱਖ ਨੂੰ ਕਿਵੇਂ ਪ੍ਰਭਾਵਿਤ ਕਰਦਾ ਹੈ"।