107 хуудастай RAG ба Agent&LLM санах ойн тойм
Өнөөдөр би Ренмин их сургууль, Фудан их сургууль, Бээжингийн их сургууль зэрэг газруудын 107 хуудастай техникийн тойм болох 《Memory in the Age of AI Agents: A Survey Forms, Functions and Dynamics》-ийг хуваалцаж байна.
Төслийн хаяг: https://github.com/Shichun-Liu/Agent-Memory-Paper-List
Өгүүллийн хаяг: https://arxiv.org/pdf/2512.13564
Өнгөрсөн хоёр жилийн хугацаанд бид хэлний том загвар (LLM)-ын хиймэл оюун ухаант агентууд (AI Agents) руу гайхалтай хувьсал өөрчлөлтийг харлаа. Deep Research-ээс эхлээд програм хангамжийн инженерчлэл, шинжлэх ухааны нээлтээс олон агентын хамтын ажиллагаа хүртэл үндсэн загварт суурилсан эдгээр ухаалаг агентууд хиймэл ерөнхий оюун ухааны (AGI) хил хязгаарыг тэлж байна.
Гэхдээ нэг гол асуудал гарч ирж байна: Статик LLM параметрүүдийг хурдан шинэчлэх боломжгүй бол агентуудыг хэрхэн тасралтгүй суралцах, дасан зохицох чадвартай болгох вэ?
Хариулт нь бол санах ой (Memory) юм.
"Санах ой бол статик LLM-ийг хүрээлэн буй орчинтой харилцан үйлчлэлцэх замаар тасралтгүй дасан зохицох чадвартай ухаалаг агент болгон хувиргах гол чадвар юм."
Figure 1 нь агентын санах ойг хэлбэр (Forms), үүрэг (Functions), динамик (Dynamics) гэсэн гурван хэмжээсээр зохион байгуулж, төлөөллийн системийг энэ ангиллын системд тусгасан өгүүллийн санал болгож буй нэгдсэн ангиллын хүрээг харуулж байна.
Мөн өгүүлэлд Agent Memory болон хэд хэдэн нягт холбоотой боловч үндсэндээ ялгаатай ойлголтуудыг тодорхой ялгаж салгасан байна: LLM санах ой, сэргээх сайжруулсан үүсгүүр (RAG) болон контекстийн инженерчлэл. Эдгээр нь бүгд мэдээллийг хадгалах, ашиглахтай холбоотой боловч зорилго, механизм, хэрэглээний хувьд гол ялгаатай байдаг.
Ухаалаг агентын санах ойн технологи
-
Self-Evolving Memory: Memento, H2R
-
Multimodal Memory: Ella, ViloMem, M3-Agent
-
Latent Memory: MemoryLLM, M+, MemGen
-
Parametric Memory: Retroformer, Early experience
-
RL-enabled Memory: MemAgent, RMM, MemSearcher, MEM1, Mem-alpha, Memory-R1
Ухаалаг агентын санах ой vs. RAG
RAG-тай холбоотой технологи:
-
Modular RAG: FlashRAG, ComposeRAG
-
Graph RAG: LightRAG, HippoRAG
-
Agentic RAG: PlanRAG, Self-RAG
RAG болон ухаалаг агентын санах ой нь хоёулаа загварын чадавхийг сайжруулахын тулд гадаад санах ойгоос мэдээлэл сэргээхтэй холбоотой боловч хоёулаа дизайны философийн хувьд үндсэн ялгаатай байдаг:
ОнцлогRAGУхаалаг агентын санах ой Гол зорилгоОдоогийн асуулгад холбогдох суурь мэдлэгээр хангахЦаг хугацааны туршид тасралтгүй суралцах, өөрөө дасан зохицох зан үйл Мэдээллийн эх үүсвэрИхэвчлэн статик, урьдчилан бүтээгдсэн мэдлэгийн санУхаалаг агентын өөрийн харилцан үйлчлэлийн туршлагаас динамикаар үүсгэгдсэн хувийн мэдээлэл Сэргээх триггерХэрэглэгчийн асуулгаар идэвхгүй триггерУхаалаг агент хэзээ, юу сэргээхээ идэвхтэй шийддэг Мэдээлэл шинэчлэхМэдлэгийн сан ихэвчлэн офлайнаар шинэчлэгддэгОнлайн, тасралтгүй, сонгомол шинэчлэлт Санал хүсэлтийн гогцооШууд санал хүсэлтийн механизм байхгүйХүрээлэн буй орчинтой харилцан үйлчлэлцэх замаар хаалттай гогцоо үүсгэх
Гол ялгаа: RAG бол мэдлэгийг өргөжүүлэх хэрэгсэл, харин ухаалаг агентын санах ой бол суралцах механизм юм. RAG "Би юу мэддэг вэ" гэдэгт хариулдаг бол ухаалаг агентын санах ой "Би юу сурсан бэ" гэдэгт хариулдаг.
Ухаалаг агентын санах ой vs. LLM санах ой
LLM санах ойтой холбоотой технологи:
-
Attention KV management: Mixture-of-Memory
-
Long context processing: Mamba, Memformer, MoA, Sparseformer, NSA
ХэмжээсLLM санах ойУхаалаг агентын санах ой ТодорхойлолтЗагварын параметрүүдэд шингэсэн мэдлэг эсвэл контекстийн цонхонд байгаа түр зуурын мэдээлэлУхаалаг агентыг хүрээлэн буй орчинтой тасралтгүй харилцан үйлчлэлцэх, олон ажлыг сурч, урт хугацаанд дасан зохицохыг дэмжих гадаад систем Цаг хугацааны хэмжээУрьдчилан бэлтгэгдсэн өгөгдөл эсвэл одоогийн ярианы контекстоор хязгаарлагддагНасан туршийн суралцахыг дэмжих олон ажил, хуралдааныг хамардаг Шинэчлэх боломжтой байдалПараметр шинэчлэх зардал өндөр, контекст мэдээлэл амархан алдагддагҮр ашигтай, сонгомол динамик шинэчлэлт, хувьслыг дэмждэг Идэвхтэй байдалАсуулгад идэвхгүй хариу өгөхЯмар мэдээллийг хадгалах, шинэчлэх, сэргээхээ идэвхтэй шийддэг Хүрээлэн буй орчинтой холбоотой байдалХүрээлэн буй орчинтой шууд харилцан үйлчлэлцэхгүйХүрээлэн буй орчны санал хүсэлттэй гүн гүнзгий нэгтгэж, харилцан үйлчлэлийн суралцахыг дэмждэг
Гол ялгаа: LLM санах ой нь үндсэндээ статик (параметр тогтмол) эсвэл богино хугацааны (контекст хязгаарлагдмал) байдаг бол ухаалаг агентын санах ой нь динамик, урт хугацааны, хүрээлэн буй орчинтой холбоотой байдаг.
Ухаалаг агентын санах ой vs. Контекстийн инженерчлэл
Контекстийн инженерчлэлтэй холбоотой технологи:
-
Tool-integrated reasoning: ReTool, ToolLLM, Toolformer, VTool-R1, ToRL
-
Tool selection: AutoTool, VisTA
-
Communication protocol: ANP, A2A, MCP, Agora
ТалуудКонтекстийн инженерчлэлУхаалаг агентын санах ой Анхаарах зүйлГанц тойрог эсвэл одоогийн ажлын оролтыг оновчтой болгохОлон тойрог, олон ажлын мэдээллийг урт хугацаанд хадгалах, ашиглах Цаг хугацааны хэмжээОдоогийн хуралдаанУрт хугацааны түүх Мэдээлэл сонгохХиймэл аргаар зохион бүтээсэн эсвэл эвристик дүрэмАвтоматжуулсан хэлбэржүүлэх, хувьсгах, сэргээх механизм Төлөв байдлыг удирдахУдаан үргэлжлэх төлөв байдал байхгүйХувьсах боломжтой санах ойн төлөв байдлыг тодорхой хадгалдаг
Гол ялгаа: Контекстийн инженерчлэл бол сануулах оновчлолын технологи, харин ухаалаг агентын санах ой бол төлөв байдлыг удирдах систем юм. Эхнийх нь "Одоо юу оруулах вэ" гэдэгт анхаарлаа хандуулдаг бол сүүлийнх нь "Өнгөрсөнд юу санаж байсан бэ, энэ нь одоо болон ирээдүйд хэрхэн нөлөөлөх вэ" гэдэгт анхаарлаа хандуулдаг.
