Recent, am văzut 2 lucrări bune despre LLM+KG pentru raționament logic complex
Recent, am văzut 2 lucrări bune despre LLM+KG pentru raționament logic complex
-
LARK https://arxiv.org/abs/2305.01157 Complex Logical Reasoning over Knowledge Graphs using Large Language Models
-
ROG https://arxiv.org/abs/2512.19092 A Large Language Model Based Method for Complex Logical Reasoning over Knowledge Graphs
I. Dificultățile raționamentului cu grafuri de cunoștințe
Grafurile de cunoștințe (KG), ca purtător central de cunoștințe structurate, se confruntă cu trei puncte slabe:
- Complexitate: explozie combinatorică a operațiilor multi-hop, intersecție și reuniune, negare etc.
- Incompletitudine: KG-urile din lumea reală au în general zgomot și lipsuri
- Generalizare: metodele tradiționale de încorporare sunt greu de transferat între seturi de date
Soluțiile tradiționale (cum ar fi Query2Box, BetaE) se bazează pe spațiul de încorporare geometrică, modelând operațiile logice ca operații vectoriale/cutie, dar pierderea de informații este severă în timpul raționamentului profund. Cum să facem modelul să înțeleagă atât structura logică, cât și să raționeze flexibil? Ascensiunea modelelor lingvistice mari (LLM) oferă o nouă idee.
Figura 1: Descompunerea lanțului de interogare LARK și fluxul de raționament LLM. Descompune interogările complexe cu mai multe operații în subinterogări cu o singură operație și le rezolvă treptat.
II. Soluție: Moștenirea și evoluția metodelor din două generații
LARK (2023) —— Lucrare de pionierat
Figura 2: Strategii de descompunere pentru 14 tipuri de interogări. 3p este împărțit în 3 proiecții, iar 3i este împărțit în 3 proiecții + 1 intersecție.
Inovație de bază: abstractizarea interogărilor + descompunerea lanțului logic
Componente de proiectare Abstractizarea interogărilor Înlocuirea entităților/relațiilor cu ID-uri, eliminarea halucinațiilor, îmbunătățirea generalizării Căutare în vecinătate Parcurgere în profunzime k-hop (k=3), extragerea subgrafurilor relevante Descompunere în lanț Interogări cu mai multe operații → Secvență de subinterogări cu o singură operație Raționament secvențial Stocarea în cache a rezultatelor intermediare, înlocuirea ordonată logic a substituentilor Observație cheie: LLM-urile excelează la interogări simple, iar performanța este îmbunătățită cu 20%-33% după descompunerea interogărilor complexe.
ROG (2025) —— Versiune avansată
Moștenește cadrul LARK, adăugând un mecanism de consens Agent:
ROG = Nucleu LARK + Colaborare multi-Agent + Întărirea lanțului de gândire
Explicații ale îmbunătățirilor
Proiectare Agent Agent inteligent = Bază de cunoștințe + LLM, luare a deciziilor prin consens multi-Agent
Îmbunătățire CoT Șabloane de solicitare a lanțului de gândire mai clare
Adaptare internă Bazat pe ChatGLM+Neo4j, orientat către domenii verticale, cum ar fi energia electrică
Modelul de flux de date ROG
Salt de performanță: Pe FB15k, MRR pentru interogări ip (proiecție după intersecție) crește de la 29,3→62,0, o îmbunătățire de 111%!
Tabelul 1: Comparație MRR a setului de date FB15k. ROG este lider în toate aspectele, iar îmbunătățirea interogărilor compuse este cea mai semnificativă.
III. Stabilirea paradigmei și direcții viitoare
Lucrările din două generații au verificat împreună o paradigmă:
"Recuperare îmbunătățită + Descompunerea interogărilor + Raționamentul LLM" este o cale eficientă pentru raționamentul logic complex KG.
Tendințe cheie:
- Abstractizarea este crucială —— Eliminarea zgomotului semantic, concentrarea pe structura logică
- Strategia de descompunere determină limita superioară —— Descompunerea în lanț este mai fiabilă decât end-to-end
- Capacitatea modelului este eliberată continuu —— De la Llama2-7B la ChatGLM, progresul bazei aduce câștiguri semnificative
Mecanismul Agent al ROG îmbunătățește interpretabilitatea, dar inovația de bază constă în optimizarea inginerească, mai degrabă decât în descoperirea teoretică. Direcțiile viitoare pot include: strategii de descompunere dinamice (complexitate adaptivă a interogărilor), fuziunea KG multimodală și validarea pe scară mai largă în domenii deschise.
