Nedavno sam vidio 2 dobra rada o LLM+KG za složeno logičko zaključivanje
Nedavno sam vidio 2 dobra rada o LLM+KG za složeno logičko zaključivanje
-
LARK https://arxiv.org/abs/2305.01157 Complex Logical Reasoning over Knowledge Graphs using Large Language Models
-
ROG https://arxiv.org/abs/2512.19092 A Large Language Model Based Method for Complex Logical Reasoning over Knowledge Graphs
I. Poteškoće zaključivanja pomoću grafa znanja
Graf znanja (KG) kao osnovni nositelj strukturiranog znanja suočava se s tri glavne bolne točke:
- Složenost: kombinatorna eksplozija operacija kao što su zaključivanje s više skokova, presjeci i unije, negacije itd.
- Nepotpunost: stvarni KG-ovi općenito imaju šum i nedostajuće informacije
- Generalizacija: tradicionalne metode ugrađivanja teško se prenose između skupova podataka
Tradicionalna rješenja (kao što su Query2Box, BetaE) oslanjaju se na geometrijski ugrađeni prostor, modelirajući logičke operacije kao vektorske/kutijaste operacije, ali informacije se ozbiljno gube tijekom dubokog zaključivanja. Kako model razumjeti i logičku strukturu i fleksibilno zaključivati? Uspon velikih jezičnih modela (LLM) nudi nove ideje.
Slika 1: LARK-ov lanac upita i proces zaključivanja LLM-a. Rastavite složene upite s više operacija na podupite s jednom operacijom i postupno ih rješavajte.
II. Rješenje: Nasljeđe i evolucija dviju generacija metoda
LARK (2023) —— Pionirski rad
Slika 2: Strategije dekompozicije za 14 vrsta upita. 3p je podijeljen na 3 projekcije, a 3i je podijeljen na 3 projekcije + 1 presjek.
Glavna inovacija: apstrakcija upita + dekompozicija logičkog lanca
Komponente dizajna Apstrakcija upita Zamijenite entitete/odnose ID-ovima kako biste eliminirali halucinacije i poboljšali generalizaciju Dohvaćanje susjedstva Pretraživanje u dubinu k-hop (k=3) za izdvajanje relevantnih podgrafova Lanci dekompozicije Upiti s više operacija → niz podupita s jednom operacijom Sekvencijalno zaključivanje Predmemorirajte međurezultate i logički uredno zamijenite rezervirana mjesta Ključni uvid: LLM je dobar u jednostavnim upitima, a performanse se poboljšavaju za 20%-33% nakon dekompozicije složenih upita.
ROG (2025) —— Napredna verzija
Nasljeđuje LARK okvir i dodaje mehanizam konsenzusa agenta:
ROG = LARK jezgra + suradnja više agenata + pojačanje lanca misli
Objašnjenje poboljšanja
Dizajn agenta
Inteligentni agent = baza znanja + LLM, odluke o konsenzusu više agenata
CoT poboljšanje
Jasniji predlošci upita lanca misli
Lokalizirana prilagodba
Temeljeno na ChatGLM+Neo4j, orijentirano na vertikalna područja kao što je električna energija
ROG-ov model protoka podataka
Skok performansi: Na FB15k, MRR upita ip (projekcija nakon presjeka) se povećao sa 29,3→62,0, što je povećanje od 111%!
Tablica 1: Usporedba MRR-a skupa podataka FB15k. ROG je sveobuhvatno superioran, a poboljšanja su najznačajnija za složene upite.
III. Uspostavljanje paradigme i budući smjer
Dva rada su zajedno potvrdila paradigmu:
"Poboljšanje pretraživanja + dekompozicija upita + LLM zaključivanje" je učinkovit put za složeno logičko zaključivanje KG-a.
Ključni trendovi:
- Apstrakcija je ključna —— uklanjanje semantičkog šuma i fokusiranje na logičku strukturu
- Strategija dekompozicije određuje gornju granicu —— lančana dekompozicija je pouzdanija od end-to-end
- Sposobnost modela se nastavlja oslobađati —— od Llama2-7B do ChatGLM, napredak temelja donosi značajne dobitke
Iako ROG-ov mehanizam agenta poboljšava objašnjivost, glavna inovacija leži u inženjerskoj optimizaciji, a ne u teorijskom proboju. Budući smjerovi mogu biti: strategije dinamičke dekompozicije (prilagodljiva složenosti upita), fuzija multimodalnog KG-a i validacija otvorenog domena većeg opsega.
