107 беттік RAG және Agent&LLM жадына шолу

Бүгін мен Қытай халық университеті, Фудан университеті, Пекин университеті және т.б. университеттердің 107 беттік техникалық шолуын бөлісемін: «Жасанды интеллект агенттері дәуіріндегі жад: пішіндер, функциялар және динамика».

Жоба мекенжайы: https://github.com/Shichun-Liu/Agent-Memory-Paper-List

Мақала мекенжайы: https://arxiv.org/pdf/2512.13564

Соңғы екі жылда біз үлкен тілдік модельдердің (LLM) жасанды интеллект агенттеріне (AI Agents) таңғажайып эволюциясын көрдік. Deep Research-тен бастап бағдарламалық жасақтама инженериясына дейін, ғылыми жаңалықтардан көп агенттілік ынтымақтастыққа дейін, негізгі модельдерге негізделген бұл агенттер жасанды жалпы интеллектің (AGI) шекарасын кеңейтуде.

Бірақ бір маңызды сұрақ туындайды: LLM статикалық параметрлерін жылдам жаңарту мүмкін болмаса, агенттерді үздіксіз оқуға және бейімделуге қалай мүмкіндік беруге болады?

Жауап - Жад (Memory).

"Жад - статикалық LLM-ді қоршаған ортамен өзара әрекеттесу арқылы үздіксіз бейімделе алатын интеллект агентіне айналдырудың негізгі қабілеті."

1-суретте мақалада ұсынылған бірыңғай жіктеу шеңбері көрсетілген, ол агент жадын пішіндері (Forms), функциялары (Functions), динамикасы (Dynamics) сияқты үш өлшем бойынша ұйымдастырады және өкілді жүйелерді осы жіктеу жүйесіне картаға түсіреді.

Мақалада сонымен қатар Agent Memory мен тығыз байланысты, бірақ түбегейлі өзгеше ұғымдар арасында нақты айырмашылық жасалады: LLM жады, іздеуді жақсарту арқылы жасау (RAG) және контекст инженериясы. Олардың барлығы ақпаратты сақтау және пайдаланумен байланысты болғанымен, мақсаттарда, механизмдерде және қолдану сценарийлерінде маңызды айырмашылықтар бар.

Интеллект агентінің жад технологиясы

• Өздігінен дамитын жад: Memento, H2R

• Көп модальды жад: Ella, ViloMem, M3-Agent

• Жасырын жад: MemoryLLM, M+, MemGen

• Параметрлік жад: Retroformer, Early experience

• RL-enabled Memory: MemAgent, RMM, MemSearcher, MEM1, Mem-alpha, Memory-R1

Интеллект агентінің жады vs. RAG

RAG-қа қатысты технологиялар:

• Модульдік RAG: FlashRAG, ComposeRAG

• Граф RAG: LightRAG, HippoRAG

• Агенттік RAG: PlanRAG, Self-RAG

RAG және интеллект агентінің жады екеуі де модельдің мүмкіндіктерін жақсарту үшін сыртқы сақтау орнынан ақпаратты алуды қамтиды, бірақ екеуінің де жобалау философиясында түбегейлі айырмашылықтар бар:

ЕрекшелікRAGИнтеллект агентінің жады Негізгі мақсатАғымдағы сұрауға қатысты фондық білімді қолдауУақыт бойынша үздіксіз оқу және бейімделу мінез-құлқы Ақпарат көзіӘдетте статикалық, алдын ала құрастырылған білім базасыДинамикалық түрде жасалған, интеллект агентінің өзара әрекеттесу тәжірибесінен алынған жеке ақпарат Іздеуді іске қосуПайдаланушының сұрауымен пассивті түрде іске қосыладыИнтеллект агенті қашан, нені іздеу керектігін белсенді түрде шешеді Ақпаратты жаңартуБілім базасы әдетте офлайн режимінде жаңартыладыОнлайн, үздіксіз, таңдаулы түрде жаңартылады Кері байланыс цикліТікелей кері байланыс механизмі жоқҚоршаған ортамен өзара әрекеттесу арқылы тұйық цикл құрайды

Негізгі айырмашылық: RAG - білімді кеңейту құралы, ал интеллект агентінің жады - оқыту механизмі. RAG "Мен не білемін" деген сұраққа жауап береді, ал интеллект агентінің жады "Мен не үйрендім" деген сұраққа жауап береді.

Интеллект агентінің жады vs. LLM жады

LLM жадына қатысты технологиялар:

• Attention KV management: Mixture-of-Memory

• Ұзақ контексті өңдеу: Mamba, Memformer, MoA, Sparseformer, NSA

ӨлшемLLM жадыИнтеллект агентінің жады АнықтамаМодель параметрлерінде іштей біріктірілген білім немесе контекст терезесіндегі уақытша ақпаратИнтеллект агентінің қоршаған ортамен үздіксіз өзара әрекеттесуін, тапсырмалар арасында оқуды және ұзақ мерзімді бейімделуді қолдайтын сыртқы жүйе Уақыт шкаласыАлдын ала оқыту деректерімен немесе ағымдағы диалог контекстімен шектеледіКөптеген тапсырмаларды, сессияларды қамтиды, өмір бойы оқуды қолдайды Жаңарту мүмкіндігіПараметрлерді жаңарту қымбатқа түседі, контекстік ақпарат жоғалуы мүмкінТиімді, таңдаулы динамикалық жаңарту мен эволюцияны қолдайды БелсенділікСұрауға пассивті түрде жауап бередіҚандай ақпаратты сақтау, жаңарту, алу керектігін белсенді түрде шешеді Қоршаған ортамен байланысыҚоршаған ортамен тікелей өзара әрекеттесу жоқҚоршаған ортаның кері байланысымен терең интеграцияланған, интерактивті оқуды қолдайды

Негізгі айырмашылық: LLM жады мәні бойынша статикалық (параметрлер бекітілген) немесе қысқа мерзімді (контекст шектеулі), ал интеллект агентінің жады динамикалық, тұрақты, қоршаған ортамен байланысты.

Интеллект агентінің жады vs. Контекст инженериясы

Контекст инженериясына қатысты технологиялар:

• Tool-integrated reasoning: ReTool, ToolLLM, Toolformer, VTool-R1, ToRL

• Tool selection: AutoTool, VisTA

• Communication protocol: ANP, A2A, MCP, Agora

АспектКонтекст инженериясыИнтеллект агентінің жады Назар аударуБір раундтық немесе ағымдағы тапсырманың кірісін оңтайландыруКөп раундтық, көп тапсырмалы ақпаратты тұрақтандыру және пайдалану Уақыт өлшеміАғымдағы сессияҰзақ мерзімді тарих Ақпаратты таңдауҚолмен жобаланған немесе эвристикалық ережелерАвтоматтандырылған қалыптастыру, эволюция, алу механизмі Күйді басқаруТұрақты күй жоқЭволюцияланатын жад күйін анық сақтау

Негізгі айырмашылық: Контекст инженериясы - ескертпелерді оңтайландыру технологиясы, ал интеллект агентінің жады - күйді басқару жүйесі. Біріншісі "Қазір не енгізу керек" дегенге назар аударады, ал екіншісі "Бұрын не есте сақталды, ол қазіргі мен болашаққа қалай әсер етеді" дегенге назар аударады.