Satu Kajian Semula 107 Halaman Mengenai RAG dan Ejen & Ingatan LLM

Hari ini saya ingin berkongsi kajian semula teknikal 107 halaman daripada Renmin University of China, Fudan University, Peking University, dan lain-lain, bertajuk "Memory in the Age of AI Agents: A Survey Forms, Functions and Dynamics" (Ingatan dalam Era Ejen AI: Kajian Bentuk, Fungsi dan Dinamik).

Alamat projek: https://github.com/Shichun-Liu/Agent-Memory-Paper-List

Alamat kertas kerja: https://arxiv.org/pdf/2512.13564

Dalam tempoh dua tahun yang lalu, kita telah menyaksikan evolusi yang menakjubkan bagi model bahasa besar (LLM) kepada ejen AI (AI Agents). Daripada Deep Research kepada kejuruteraan perisian, daripada penemuan saintifik kepada kerjasama berbilang ejen, ejen-ejen yang berasaskan model asas ini sedang memajukan sempadan kecerdasan umum buatan (AGI).

Tetapi satu persoalan utama timbul: Parameter LLM statik tidak boleh dikemas kini dengan cepat, bagaimana untuk membolehkan ejen mempunyai keupayaan untuk terus belajar dan menyesuaikan diri?

Jawapannya ialah - Ingatan (Memory).

"Ingatan ialah keupayaan utama untuk mengubah LLM statik menjadi ejen pintar yang boleh terus menyesuaikan diri melalui interaksi persekitaran."

Figure 1 menunjukkan rangka kerja klasifikasi bersatu yang dicadangkan oleh kertas kerja, yang menyusun ingatan ejen mengikut tiga dimensi Bentuk (Forms), Fungsi (Functions), dan Dinamik (Dynamics), dan memetakan sistem perwakilan kepada sistem klasifikasi ini.

Kertas kerja ini juga membezakan dengan jelas antara Ingatan Ejen dan beberapa konsep yang berkait rapat tetapi berbeza secara asasnya: Ingatan LLM, Retrieval Augmented Generation (RAG) dan kejuruteraan konteks. Walaupun semuanya berkaitan dengan penyimpanan dan penggunaan maklumat, terdapat perbezaan utama dalam matlamat, mekanisme dan senario aplikasi.

Teknologi Ingatan Ejen

• Self-Evolving Memory: Memento, H2R

• Multimodal Memory: Ella, ViloMem, M3-Agent

• Latent Memory: MemoryLLM, M+, MemGen

• Parametric Memory: Retroformer, Early experience

• RL-enabled Memory: MemAgent, RMM, MemSearcher, MEM1, Mem-alpha, Memory-R1

Ingatan Ejen vs. RAG

Teknologi berkaitan RAG:

• Modular RAG: FlashRAG, ComposeRAG

• Graph RAG: LightRAG, HippoRAG

• Agentic RAG: PlanRAG, Self-RAG

RAG dan ingatan ejen melibatkan mendapatkan semula maklumat daripada storan luaran untuk meningkatkan keupayaan model, tetapi terdapat perbezaan asas dalam falsafah reka bentuk antara kedua-duanya:

CiriRAGIngatan Ejen Matlamat utamaMenyediakan sokongan pengetahuan latar belakang yang berkaitan untuk pertanyaan semasaPembelajaran berterusan dan tingkah laku adaptif merentas masa Sumber maklumatBiasanya pangkalan pengetahuan statik dan dibina terlebih dahuluMaklumat peribadi yang dijana secara dinamik daripada pengalaman interaksi ejen itu sendiri Pencetus perolehanDicetuskan secara pasif oleh pertanyaan penggunaEjen secara aktif memutuskan bila dan apa yang hendak diperolehi Kemas kini maklumatPangkalan pengetahuan biasanya dikemas kini di luar talianDikemas kini dalam talian, berterusan dan secara selektif Gelung maklum balasTiada mekanisme maklum balas langsungMembentuk gelung tertutup dengan interaksi persekitaran

Perbezaan utama: RAG ialah alat pengembangan pengetahuan, manakala ingatan ejen ialah mekanisme pembelajaran. RAG menjawab "Apa yang saya tahu", manakala ingatan ejen menjawab "Apa yang telah saya pelajari".

Ingatan Ejen vs. Ingatan LLM

Teknologi berkaitan ingatan LLM:

• Attention KV management: Mixture-of-Memory

• Long context processing: Mamba, Memformer, MoA, Sparseformer, NSA

DimensiIngatan LLMIngatan Ejen DefinisiPengetahuan yang diinternalisasikan dalam parameter model, atau maklumat sementara dalam tetingkap konteksSistem luaran yang menyokong interaksi berterusan ejen dengan persekitaran, pembelajaran merentas tugas dan penyesuaian jangka panjang Skala masaTerhad kepada data pra-latihan atau konteks perbualan semasaMerentasi berbilang tugas, sesi, menyokong pembelajaran sepanjang hayat KebolehbaharuanKos tinggi untuk mengemas kini parameter, maklumat konteks mudah hilangMenyokong kemas kini dan evolusi dinamik yang cekap dan selektif KeaktifanBertindak balas secara pasif kepada pertanyaanSecara aktif memutuskan maklumat apa yang hendak disimpan, dikemas kini dan diperolehi Gandingan dengan persekitaranTiada interaksi langsung dengan persekitaranPenyepaduan mendalam maklum balas persekitaran, menyokong pembelajaran interaktif

Perbezaan utama: Ingatan LLM pada dasarnya adalah statik (parameter tetap) atau sementara (konteks terhad), manakala ingatan ejen adalah dinamik, berterusan dan digandingkan dengan persekitaran.

Ingatan Ejen vs. Kejuruteraan Konteks

Teknologi berkaitan kejuruteraan konteks:

• Tool-integrated reasoning: ReTool, ToolLLM, Toolformer, VTool-R1, ToRL

• Tool selection: AutoTool, VisTA

• Communication protocol: ANP, A2A, MCP, Agora

AspekKejuruteraan KonteksIngatan Ejen TumpuanPengoptimuman input untuk pusingan tunggal atau tugas semasaPengekalan dan penggunaan maklumat berterusan merentas berbilang pusingan dan tugas Dimensi masaSesi semasaSejarah jangka panjang Pemilihan maklumatReka bentuk manual atau peraturan heuristikMekanisme automatik untuk pembentukan, evolusi dan perolehan Pengurusan statusTiada status berterusanPenyelenggaraan eksplisit status ingatan yang boleh berkembang

Perbezaan utama: Kejuruteraan konteks ialah teknologi pengoptimuman gesaan, manakala ingatan ejen ialah sistem pengurusan status. Yang pertama memberi tumpuan kepada "Apa yang dimasukkan sekarang", manakala yang kedua memberi tumpuan kepada "Apa yang diingati pada masa lalu, dan bagaimana ia mempengaruhi masa kini dan masa depan".