Nedavno sem videl 2 dobri znanstveni članki o LLM+KG za kompleksno logično sklepanje
Nedavno sem videl 2 dobri znanstveni članki o LLM+KG za kompleksno logično sklepanje
-
LARK https://arxiv.org/abs/2305.01157 Complex Logical Reasoning over Knowledge Graphs using Large Language Models
-
ROG https://arxiv.org/abs/2512.19092 A Large Language Model Based Method for Complex Logical Reasoning over Knowledge Graphs
I. Težave sklepanja v grafih znanja
Grafi znanja (KG) kot osrednji nosilec strukturiranega znanja se soočajo s tremi glavnimi težavami:
- Kompleksnost: kombinatorična eksplozija večskokovnega sklepanja, presekov in unij, negacij itd.
- Nepopolnost: resnični KG-ji imajo pogosto šum in manjkajoče podatke
- Posplošljivost: tradicionalne metode vdelave se težko prenesejo med nabori podatkov
Tradicionalne rešitve (kot sta Query2Box, BetaE) se zanašajo na geometrijski vdelavni prostor, kjer logične operacije modelirajo kot vektorske/škatlaste operacije, vendar pri globokem sklepanju pride do resne izgube informacij. Kako lahko model razume logično strukturo in hkrati fleksibilno sklepa? Vzpon velikih jezikovnih modelov (LLM) ponuja nov pristop.
Slika 1: LARK-ov postopek razgradnje verige poizvedb in sklepanja LLM. Kompleksne poizvedbe z več operacijami se razčlenijo na podpoizvedbe z eno operacijo, ki se rešujejo postopoma.
II. Rešitev: dediščina in evolucija dveh generacij metod
LARK (2023) -- Pionirsko delo
Slika 2: Strategije razgradnje za 14 vrst poizvedb. 3p se razdeli na 3 projekcije, 3i pa na 3 projekcije + 1 presek.
Ključna inovacija: abstrakcija poizvedb + razgradnja logične verige
Komponentna zasnova Abstrakcija poizvedb: entitete/relacije se nadomestijo z ID-ji, kar odpravlja halucinacije in izboljšuje posploševanje Iskanje sosedov: iskanje v globino k-hop (k=3), ekstrahiranje povezanih podgrafov Verižna razgradnja: poizvedbe z več operacijami → zaporedje podpoizvedb z eno operacijo Zaporedno sklepanje: shranjevanje vmesnih rezultatov v predpomnilnik, logično urejena zamenjava označb Ključno spoznanje: LLM-ji so dobri pri preprostih poizvedbah, kompleksne poizvedbe pa se po razgradnji izboljšajo za 20-33 %.
ROG (2025) -- Napredna različica
Podeduje okvir LARK, dodaja mehanizem soglasja Agentov:
ROG = jedro LARK + sodelovanje več Agentov + okrepitev verige misli
Pojasnila izboljšav
Zasnova Agenta: inteligentni agent = baza znanja + LLM, odločanje s soglasjem več Agentov
Izboljšava CoT: jasnejše predloge za verigo misli
Prilagoditev domačim rešitvam: temelji na ChatGLM+Neo4j, usmerjeno v vertikalna področja, kot je elektroenergetika
ROG-ov model toka podatkov
Skok v zmogljivosti: na FB15k se je MRR poizvedbe ip (projekcija po preseku) povečal z 29,3 → 62,0, kar je 111 % izboljšava!
Tabela 1: Primerjava MRR nabora podatkov FB15k. ROG je v vseh pogledih boljši, izboljšave pri sestavljenih poizvedbah so najbolj opazne.
III. Uveljavitev paradigme in prihodnje usmeritve
Obe generaciji znanstvenih člankov potrjujeta paradigmo:
"Iskanje z izboljšavami + razgradnja poizvedb + sklepanje LLM" je učinkovita pot za kompleksno logično sklepanje KG.
Ključni trendi:
- Abstrakcija je ključnega pomena -- odstranjevanje semantičnega šuma, osredotočanje na logično strukturo
- Strategija razgradnje določa zgornjo mejo -- verižna razgradnja je bolj zanesljiva kot od konca do konca
- Zmogljivost modela se nenehno sprošča -- od Llama2-7B do ChatGLM, napredek baze prinaša znatne koristi
Čeprav mehanizem Agentov ROG izboljšuje razložljivost, je ključna inovacija v inženirski optimizaciji in ne v teoretičnem preboju. Prihodnje usmeritve bi lahko bile: strategije dinamične razgradnje (prilagajanje kompleksnosti poizvedbe), fuzija večmodalnih KG-jev in obsežnejša validacija na odprtem področju.
