Újabban 2 jó LLM+KG cikket láttam komplex logikai következtetésről
Újabban 2 jó LLM+KG cikket láttam komplex logikai következtetésről
-
LARK https://arxiv.org/abs/2305.01157 Complex Logical Reasoning over Knowledge Graphs using Large Language Models
-
ROG https://arxiv.org/abs/2512.19092 A Large Language Model Based Method for Complex Logical Reasoning over Knowledge Graphs
I. A tudásgráf következtetésének nehézségei
A tudásgráf (KG), mint a strukturált tudás központi hordozója, három fő problémával szembesül:
- Komplexitás: Több lépéses következtetés, metszet és unió, negáció és más műveletek kombinatorikus robbanása
- Hiányosság: A valós KG-k általában zajosak és hiányosak
- Általánosíthatóság: A hagyományos beágyazási módszerek nehezen vihetők át adathalmazok között
A hagyományos megoldások (mint például a Query2Box, BetaE) geometriai beágyazási térre támaszkodnak, és a logikai műveleteket vektor/doboz műveletekként modellezik, de a mély következtetés során súlyos információvesztést szenvednek. Hogyan érjük el, hogy a modell értse a logikai struktúrát, és rugalmasan tudjon következtetni? A nagy nyelvi modellek (LLM) felemelkedése új ötleteket kínált.
1. ábra: A LARK lekérdezési lánc felbontása és LLM következtetési folyamata. A komplex, több műveletes lekérdezéseket egyetlen műveletes al-lekérdezésekre bontja, lépésről lépésre megoldva.
II. Megoldás: A módszerek két generációjának öröksége és fejlődése
LARK (2023) - Úttörő munka
- ábra: 14 lekérdezési típus felbontási stratégiája. A 3p 3 projekcióra, a 3i 3 projekcióra + 1 metszetre bomlik.
Fő innováció: Lekérdezés absztrakció + Logikai lánc felbontás
Komponens tervezés Lekérdezés absztrakció Entitás/kapcsolat lecserélése ID-re, a hallucinációk kiküszöbölése, az általánosítás javítása Szomszédság keresés k-hop mélységi elsőbbségi bejárás (k=3), a kapcsolódó algráf kivonása Láncolt felbontás Több műveletes lekérdezés → Egyetlen műveletes al-lekérdezés sorozat Szekvenciális következtetés A köztes eredmények gyorsítótárazása, a logikai sorrendiség Placeholder csere Kulcsfontosságú meglátás: Az LLM-ek jártasak az egyszerű lekérdezésekben, a komplex lekérdezések felbontása után a teljesítmény 20-33%-kal javul.
ROG (2025) - Továbbfejlesztett verzió
Örökli a LARK keretrendszert, új Agent konszenzus mechanizmust ad hozzá:
ROG = LARK mag + Több Agent együttműködés + Gondolkodási lánc megerősítés
Javítások magyarázata
Agent tervezés
Intelligens ügynök = Tudásbázis + LLM, több Agent konszenzusos döntéshozatal
CoT fejlesztés
Egyértelműbb gondolkodási lánc prompt sablonok
Hazai adaptáció
ChatGLM+Neo4j alapú, a villamosenergia-ipar és más vertikális területek számára
A ROG adatfolyam modellje
Teljesítményugrás: A FB15k-n az ip lekérdezés (metszet utáni projekció) MRR-je 29,3→62,0-ra nőtt, ami 111%-os javulás!
1. táblázat: FB15k adathalmaz MRR összehasonlítás. A ROG minden területen vezet, a legnagyobb javulás az összetett lekérdezéseknél tapasztalható.
III. Paradigma megalapozása és jövőbeli irányok
A két generációs cikk közösen igazol egy paradigmát:
"A keresés-kiterjesztés + lekérdezés felbontás + LLM következtetés" hatékony út a KG komplex logikai következtetéséhez.
Főbb trendek:
- Az absztrakció kritikus fontosságú - A szemantikai zaj eltávolítása, a logikai struktúrára való összpontosítás
- A felbontási stratégia meghatározza a felső határt - A láncolt felbontás megbízhatóbb, mint a végponttól végpontig történő
- A modell képességeinek folyamatos felszabadítása - A Llama2-7B-től a ChatGLM-ig az alapmodell fejlődése jelentős előnyökkel jár
A ROG Agent mechanizmusa bár növeli az értelmezhetőséget, a fő innováció a mérnöki optimalizálásban rejlik, nem az elméleti áttörésben. A jövőbeli irányok a következők lehetnek: dinamikus felbontási stratégiák (adaptív lekérdezési komplexitás), multimódusú KG fúzió és nagyobb léptékű nyílt tartományú validálás.
