Hiljuti nägin 2 head LLM+KG artiklit keeruka loogilise järeldamise kohta

Hiljuti nägin 2 head LLM+KG artiklit keeruka loogilise järeldamise kohta

1. LARK https://arxiv.org/abs/2305.01157 Complex Logical Reasoning over Knowledge Graphs using Large Language Models

2. ROG https://arxiv.org/abs/2512.19092 A Large Language Model Based Method for Complex Logical Reasoning over Knowledge Graphs

I. Teadmusgraafi järeldamise raskused

Teadmusgraafid (KG) seisavad struktureeritud teadmiste peamise kandjana silmitsi kolme suure probleemiga:

• Keerukus: mitme hüppe järeldamine, lõikumised ja ühendid, eitused jne, operatsioonide kombinatsioonide plahvatus
• Puudulikkus: reaalse maailma KG-des esineb tavaliselt müra ja puudujääke
• Üldistus: traditsioonilised manustamismeetodid on raskesti andmekogumite vahel ülekantavad

Traditsioonilised lahendused (nagu Query2Box, BetaE) sõltuvad geomeetrilisest manustamisruumist, modelleerides loogilisi operatsioone vektori/kasti operatsioonidena, kuid sügava järeldamise korral on teabekadu tõsine. Kuidas panna mudel mõistma nii loogilist struktuuri kui ka paindlikult järeldama? Suurte keelemudelite (LLM) esilekerkimine pakub uusi ideid.

Joonis 1: LARK-i päringuahela dekompositsioon ja LLM-i järeldamise protsess. Jagage keerulised mitme operatsiooniga päringud ühe operatsiooniga alamapäringuteks ja lahendage need järk-järgult.

II. Lahendus: kahe põlvkonna meetodite pärand ja areng

LARK (2023) – teerajaja

Joonis 2: 14 päringutüübi dekompositsioonistrateegiad. 3p jagatakse 3 projektsiooniks, 3i jagatakse 3 projektsiooniks + 1 lõikumiseks.

Põhiinnovatsioon: päringu abstraktsioon + loogilise ahela dekompositsioon

Komponentide disain Päringu abstraktsioon Entiteetide/suhete asendamine ID-dega, hallutsinatsioonide kõrvaldamine, üldistuse parandamine Naabruskonna otsing k-hop sügavuse eelisjärjekorras läbimine (k=3), seotud alamgraafi ekstraheerimine Ahela dekompositsioon Mitme operatsiooniga päring → ühe operatsiooniga alamapäringute jada Järjestikune järeldamine Vahetulemuste vahemällu salvestamine, loogiliselt järjestatud Kohatäite asendamine Põhiline arusaam: LLM on hea lihtsate päringute korral, keeruliste päringute dekomponeerimine parandab jõudlust 20–33%.

ROG (2025) – täiustatud versioon

Pärandab LARK-i raamistiku, lisab Agendi konsensusmehhanismi:

ROG = LARK-i tuum + mitme Agendi koostöö + mõttekäigu tugevdamine

Täiustuste kirjeldus Agendi disain Intelligentne agent = teadmusbaas + LLM, mitme Agendi konsensusotsus CoT täiustus Selgemad mõttekäigu viipamallid Kodumaine kohandamine Põhineb ChatGLM+Neo4j-l, mis on suunatud vertikaalsetele valdkondadele, nagu elekter ROG-i andmevoo mudel

Jõudluse hüpe: FB15k-l suurenes ip-päringu (lõikumine ja seejärel projektsioon) MRR 29,3 → 62,0, mis on 111% tõus!

Tabel 1: FB15k andmekogumi MRR võrdlus. ROG on igas valdkonnas juhtiv, kõige olulisem on liitpäringute täiustus.

III. Paradigma loomine ja tulevased suunad

Kaks artiklit on koos kinnitanud paradigmat:

"Otsingu täiustamine + päringu dekompositsioon + LLM-i järeldamine" on KG keeruka loogilise järeldamise tõhus tee.

Põhitrendid:

• Abstraktsioon on ülioluline – semantilise müra eemaldamine, keskendumine loogilisele struktuurile
• Dekompositsioonistrateegia määrab ülempiiri – ahela dekompositsioon on usaldusväärsem kui otspunktist-punkti
• Mudeli võimekus vabaneb pidevalt – Llama2-7B-st ChatGLM-ini toob baasmudeli edasiminek märkimisväärset kasu

ROG-i Agendi mehhanism küll suurendab seletatavust, kuid põhiinnovatsioon seisneb insenertehnilises optimeerimises, mitte teoreetilises läbimurdes. Tulevased suunad võivad olla: dünaamilised dekompositsioonistrateegiad (kohanduvad päringu keerukusega), multimodulaarne KG integratsioon ja suuremahulisem avatud domeeni valideerimine.