Nesen redzēti 2 labi LLM+KG pētījumi par sarežģītu loģisko spriešanu

Nesen redzēti 2 labi LLM+KG pētījumi par sarežģītu loģisko spriešanu

1. LARK https://arxiv.org/abs/2305.01157 Complex Logical Reasoning over Knowledge Graphs using Large Language Models

2. ROG https://arxiv.org/abs/2512.19092 A Large Language Model Based Method for Complex Logical Reasoning over Knowledge Graphs

I. Zināšanu grafu spriešanas grūtības

Zināšanu grafi (KG) kā strukturētu zināšanu galvenais nesējs saskaras ar trim galvenajām problēmām:

• Sarežģītība: daudzpakāpju spriešana, krustojumu un apvienojumu, noliegumu utt. operāciju kombinatoriskā eksplozija
• Nepilnība: reālās pasaules KG parasti ir trokšņi un trūkumi
• Vispārināmība: tradicionālās iegulšanas metodes ir grūti pārnest starp datu kopām

Tradicionālie risinājumi (piemēram, Query2Box, BetaE) ir atkarīgi no ģeometriskās iegulšanas telpas, modelējot loģiskās operācijas kā vektoru/kastes operācijas, bet dziļas spriešanas laikā informācijas zudums ir nopietns. Kā panākt, lai modelis saprastu gan loģisko struktūru, gan varētu elastīgi spriest? Lielo valodu modeļu (LLM) uzplaukums piedāvā jaunu pieeju.

1. attēls: LARK vaicājumu ķēdes sadalīšanas un LLM spriešanas process. Sarežģīti daudzoperāciju vaicājumi tiek sadalīti vienas operācijas apakšvaicājumos, pakāpeniski risinot.

II. Risinājums: divu paaudžu metožu mantojums un evolūcija

LARK (2023) — celmlauzis

2. attēls: 14 vaicājumu veidu sadalīšanas stratēģijas. 3p tiek sadalīts 3 projekcijās, 3i tiek sadalīts 3 projekcijās + 1 krustojumā.

Galvenā inovācija: vaicājumu abstrakcija + loģiskās ķēdes sadalīšana

Komponentu dizains Vaicājumu abstrakcija: entītiju/relāciju aizstāšana ar ID, lai novērstu halucinācijas un uzlabotu vispārināmību Kaimiņu meklēšana: k-hop dziļuma pirmā meklēšana (k=3), lai iegūtu saistītu apakšgrafu Ķēdes sadalīšana: daudzoperāciju vaicājums → vienas operācijas apakšvaicājumu secība Secīga spriešana: kešatmiņā saglabā starprezultātus, loģiski sakārtota vietturu aizstāšana Galvenā atziņa: LLM ir labi vienkāršos vaicājumos, sarežģītu vaicājumu sadalīšana uzlabo veiktspēju par 20%-33%.

ROG (2025) — uzlabota versija

Mantojot LARK ietvaru, pievienots Agentu vienprātības mehānisms:

ROG = LARK kodols + vairāku Agentu sadarbība + domāšanas ķēdes pastiprināšana

Uzlabojumu skaidrojums Agentu dizains: Inteliģents aģents = zināšanu bāze + LLM, vairāku Agentu vienprātības lēmumu pieņemšana CoT uzlabojums: skaidrākas domāšanas ķēdes uzvednes Vietējā pielāgošana: balstīta uz ChatGLM+Neo4j, vērsta uz vertikālām jomām, piemēram, elektroenerģiju ROG datu plūsmas modelis

Veiktspējas lēciens: FB15k, ip vaicājumam (projekcija pēc krustojuma) MRR no 29.3→62.0, uzlabojums par 111%!

1. tabula: FB15k datu kopas MRR salīdzinājums. ROG ir pilnībā pārāks, un visievērojamākais uzlabojums ir saliktajiem vaicājumiem.

III. Paradigmas izveide un nākotnes virzieni

Divu paaudžu pētījumi kopīgi apstiprina paradigmu:

"Meklēšanas pastiprināšana + vaicājumu sadalīšana + LLM spriešana" ir efektīvs ceļš KG sarežģītai loģiskai spriešanai.

Galvenās tendences:

• Abstrakcija ir ļoti svarīga — atbrīvojoties no semantiskā trokšņa, koncentrējoties uz loģisko struktūru
• Sadalīšanas stratēģija nosaka augšējo robežu — ķēdes sadalīšana ir uzticamāka nekā no gala līdz galam
• Modeļa iespējas turpina atraisīties — no Llama2-7B līdz ChatGLM, bāzes uzlabojumi sniedz ievērojamus ieguvumus

ROG Agentu mehānisms uzlabo skaidrojumu, bet galvenā inovācija ir inženiertehniskā optimizācija, nevis teorētisks izrāviens. Nākotnes virzieni varētu būt: dinamiskas sadalīšanas stratēģijas (adaptīva vaicājumu sarežģītība), multimodālu KG saplūšana un lielāka mēroga atvērtā domēna validācija.