Огляд RAG та Agent&LLM пам'яті на 107 сторінок

Сьогодні ділюся технічним оглядом на 107 сторінок від Женьміньського університету Китаю, Фуданського університету, Пекінського університету та інших під назвою «Пам'ять в епоху AI агентів: Огляд форм, функцій та динаміки».

Адреса проєкту: https://github.com/Shichun-Liu/Agent-Memory-Paper-List

Адреса статті: https://arxiv.org/pdf/2512.13564

За останні два роки ми стали свідками дивовижної еволюції великих мовних моделей (LLM) в AI агентів (AI Agents). Від Deep Research до розробки програмного забезпечення, від наукових відкриттів до багатоагентної співпраці, ці агенти, засновані на базових моделях, розширюють межі штучного загального інтелекту (AGI).

Але виникає ключове питання: як зробити так, щоб агенти могли безперервно навчатися та адаптуватися, якщо статичні параметри LLM не можуть швидко оновлюватися?

Відповідь – пам'ять (Memory).

"Пам'ять – це ключова здатність, яка перетворює статичні LLM на інтелектуальних агентів, здатних постійно адаптуватися через взаємодію з навколишнім середовищем."

Рисунок 1 демонструє запропоновану в статті уніфіковану структуру класифікації, яка організовує пам'ять агентів за трьома вимірами: форми (Forms), функції (Functions), динаміка (Dynamics), і відображає репрезентативні системи в цій системі класифікації.

У статті також чітко розмежовуються Agent Memory та кілька тісно пов'язаних, але принципово різних концепцій: LLM пам'ять, генерація, розширена пошуком (RAG) та контекстна інженерія. Хоча всі вони пов'язані зі зберіганням та використанням інформації, між ними існують ключові відмінності в цілях, механізмах та сценаріях застосування.

Технології пам'яті агентів

• Self-Evolving Memory: Memento, H2R

• Multimodal Memory: Ella, ViloMem, M3-Agent

• Latent Memory: MemoryLLM, M+, MemGen

• Parametric Memory: Retroformer, Early experience

• RL-enabled Memory: MemAgent, RMM, MemSearcher, MEM1, Mem-alpha, Memory-R1

Пам'ять агентів vs. RAG

Технології, пов'язані з RAG:

• Modular RAG: FlashRAG, ComposeRAG

• Graph RAG: LightRAG, HippoRAG

• Agentic RAG: PlanRAG, Self-RAG

RAG та пам'ять агентів передбачають отримання інформації із зовнішнього сховища для розширення можливостей моделі, але між ними існують принципові відмінності у філософії дизайну:

ХарактеристикаRAGПам'ять агентів Основна метаЗабезпечення підтримки відповідними фоновими знаннями для поточного запитуБезперервне навчання та адаптивна поведінка з плином часу Джерело інформаціїЗазвичай статична, попередньо побудована база знаньДинамічно згенерована, персоналізована інформація з власного досвіду взаємодії агента Тригер пошукуПасивно запускається запитом користувачаАктивно вирішується агентом, коли і що шукати Оновлення інформаціїБаза знань зазвичай оновлюється в автономному режиміОнлайн, безперервне, вибіркове оновлення Цикл зворотного зв'язкуВідсутній прямий механізм зворотного зв'язкуФормує замкнутий цикл із взаємодією з навколишнім середовищем

Ключова відмінність: RAG – це інструмент розширення знань, а пам'ять агентів – це механізм навчання. RAG відповідає на питання "Що я знаю", а пам'ять агентів відповідає на питання "Чого я навчився".

Пам'ять агентів vs. LLM пам'ять

Технології, пов'язані з LLM пам'яттю:

• Attention KV management: Mixture-of-Memory

• Long context processing: Mamba, Memformer, MoA, Sparseformer, NSA

ВимірLLM Пам'ятьПам'ять агентів ВизначенняЗнання, внутрішньо притаманні параметрам моделі, або тимчасова інформація у вікні контекстуЗовнішня система, яка підтримує безперервну взаємодію агента з навколишнім середовищем, навчання між завданнями та довгострокову адаптацію Масштаб часуОбмежується даними попереднього навчання або поточним контекстом діалогуОхоплює кілька завдань, сеансів, підтримує навчання протягом усього життя Можливість оновленняОновлення параметрів є дорогим, контекстна інформація є непостійноюПідтримує ефективне, вибіркове динамічне оновлення та еволюцію АктивністьПасивно реагує на запитиАктивно вирішує, яку інформацію зберігати, оновлювати та отримувати Зв'язок з навколишнім середовищемВідсутня пряма взаємодія з навколишнім середовищемГлибоко інтегрований зворотний зв'язок з навколишнім середовищем, підтримує інтерактивне навчання

Ключова відмінність: LLM пам'ять по суті є статичною (параметри фіксовані) або короткочасною (контекст обмежений), тоді як пам'ять агентів є динамічною, постійною, пов'язаною з навколишнім середовищем.

Пам'ять агентів vs. Контекстна інженерія

Технології, пов'язані з контекстною інженерією:

• Tool-integrated reasoning: ReTool, ToolLLM, Toolformer, VTool-R1, ToRL

• Tool selection: AutoTool, VisTA

• Communication protocol: ANP, A2A, MCP, Agora

АспектКонтекстна інженеріяПам'ять агентів ФокусОптимізація вхідних даних для одного раунду або поточного завданняПерсистенція та використання інформації між кількома раундами та завданнями Вимір часуПоточний сеансДовготривала історія Вибір інформаціїШтучно розроблені або евристичні правилаАвтоматизовані механізми формування, еволюції та пошуку Управління станомВідсутній постійний станЯвно підтримує еволюційний стан пам'яті

Ключова відмінність: Контекстна інженерія – це техніка оптимізації підказок, а пам'ять агентів – це система управління станом. Перша зосереджується на "Що вводити зараз", а друга – на "Що запам'яталося в минулому, як це впливає на сьогодення та майбутнє".