Nedavno sam vidio 2 dobra rada o LLM+KG za složeno logičko zaključivanje
Nedavno sam vidio 2 dobra rada o LLM+KG za složeno logičko zaključivanje
-
LARK https://arxiv.org/abs/2305.01157 Complex Logical Reasoning over Knowledge Graphs using Large Language Models
-
ROG https://arxiv.org/abs/2512.19092 A Large Language Model Based Method for Complex Logical Reasoning over Knowledge Graphs
I. Poteškoće zaključivanja s grafovima znanja
Grafovi znanja (KG) kao temeljni nositelji strukturiranog znanja, suočavaju se s tri glavne bolne točke:
- Složenost: kombinatorna eksplozija operacija kao što su zaključivanje s više skokova, presjeci, unije, negacije itd.
- Nepotpunost: stvarni KG-ovi općenito imaju šum i nedostajuće informacije
- Generalizacija: tradicionalne metode ugradnje teško se prenose između skupova podataka
Tradicionalna rješenja (kao što su Query2Box, BetaE) oslanjaju se na geometrijski ugrađeni prostor, modelirajući logičke operacije kao vektorske/kutijaste operacije, ali informacije se ozbiljno gube tijekom dubokog zaključivanja. Kako omogućiti modelu da razumije logičku strukturu i fleksibilno zaključuje? Uspon velikih jezičnih modela (LLM) nudi nove ideje.
Slika 1: LARK-ov lanac upita i proces zaključivanja LLM-a. Rastavite složene upite s više operacija na podupite s jednom operacijom i postupno ih rješavajte.
II. Rješenje: Nasljeđe i evolucija dviju generacija metoda
LARK (2023) —— Pionirski rad
Slika 2: Strategija dekompozicije za 14 vrsta upita. 3p se rastavlja na 3 projekcije, a 3i se rastavlja na 3 projekcije + 1 presjek.
Ključna inovacija: apstrakcija upita + dekompozicija logičkog lanca
Komponente Dizajn Apstrakcija upita Zamjena entiteta/odnosa ID-ovima, uklanjanje halucinacija, poboljšanje generalizacije Pretraživanje susjedstva Dubinsko pretraživanje prvog reda (k=3), izdvajanje relevantnih podgrafova Lančana dekompozicija Upiti s više operacija → niz podupita s jednom operacijom Sekvencijalno zaključivanje Predmemoriranje međurezultata, logički uređena zamjena rezerviranih mjesta Ključni uvid: LLM je dobar u jednostavnim upitima, a performanse se poboljšavaju za 20%-33% nakon dekompozicije složenih upita.
ROG (2025) —— Napredna verzija
Nasljeđuje LARK okvir, dodajući mehanizam konsenzusa agenta:
ROG = LARK jezgra + suradnja više agenata + jačanje lanca misli
Objašnjenje poboljšanja
Dizajn agenta Inteligentni agent = baza znanja + LLM, odluka o konsenzusu više agenata
CoT poboljšanje Jasniji predložak upita lanca misli
Domaća prilagodba Temeljeno na ChatGLM+Neo4j, usmjereno na vertikalna područja kao što je energija
ROG-ov model protoka podataka
Skok performansi: Na FB15k, MRR upita ip (projekcija nakon presjeka) se povećao sa 29,3→62,0, što je povećanje od 111%!
Tablica 1: Usporedba MRR-a skupa podataka FB15k. ROG je sveobuhvatno vodeći, a poboljšanje složenih upita je najznačajnije.
III. Uspostava paradigme i budući smjer
Dva rada generacije zajedno potvrđuju paradigmu:
"Poboljšanje pretraživanja + dekompozicija upita + LLM zaključivanje" učinkovit je put za složeno logičko zaključivanje KG-a.
Ključni trendovi:
- Apstrakcija je kritična —— uklanjanje semantičkog šuma, fokusiranje na logičku strukturu
- Strategija dekompozicije određuje gornju granicu —— lančana dekompozicija je pouzdanija od kraja do kraja
- Sposobnost modela se kontinuirano oslobađa —— od Llama2-7B do ChatGLM, napredak temelja donosi značajne dobitke
Iako ROG-ov mehanizam agenta poboljšava objašnjivost, ključna inovacija leži u inženjerskoj optimizaciji, a ne u teorijskom proboju. Budući smjerovi mogu biti: strategije dinamičke dekompozicije (prilagodljiva složenost upita), fuzija multimodalnih KG-ova i validacija otvorenog domena većeg opsega.
