Nylig har jeg sett 2 gode artikler om LLM+KG for kompleks logisk resonnering
Nylig har jeg sett 2 gode artikler om LLM+KG for kompleks logisk resonnering
-
LARK https://arxiv.org/abs/2305.01157 Complex Logical Reasoning over Knowledge Graphs using Large Language Models
-
ROG https://arxiv.org/abs/2512.19092 A Large Language Model Based Method for Complex Logical Reasoning over Knowledge Graphs
I. Utfordringene med kunnskapsgrafresonnering
Kunnskapsgrafer (KG) som den sentrale bæreren av strukturert kunnskap, står overfor tre store smertepunkter:
- Kompleksitet: Kombinatorisk eksplosjon av operasjoner som multi-hop resonnering, snitt, union og negasjon
- Ufullstendighet: Virkelige KG-er har generelt støy og mangler
- Generalisering: Tradisjonelle innbyggingsmetoder er vanskelige å overføre mellom datasett
Tradisjonelle løsninger (som Query2Box, BetaE) er avhengige av geometriske innbyggingsrom, og modellerer logiske operasjoner som vektor-/boksoperasjoner, men informasjonstapet er alvorlig ved dyp resonnering. Hvordan kan vi få modellen til å forstå både logisk struktur og resonnere fleksibelt? Fremveksten av store språkmodeller (LLM) gir nye ideer.
Figur 1: LARKs spørringskjede-dekomponering og LLM-resonneringsprosess. Dekomponerer komplekse multi-operasjonsspørringer i enkeltoperasjonsunderspørringer, og løser dem gradvis.
II. Løsning: Arv og evolusjon av to generasjoner metoder
LARK (2023) —— Banebrytende arbeid
Figur 2: Dekomponeringsstrategi for 14 spørringstyper. 3p er delt inn i 3 projeksjoner, 3i er delt inn i 3 projeksjoner + 1 snitt.
Kjerneinnovasjon: Spørringsabstraksjon + Logisk kjededekomponering
Komponentdesign Spørringsabstraksjon Entitets-/relasjonserstatning med ID-er, eliminerer hallusinasjoner, forbedrer generalisering Nabolagshenting k-hop dybde-først-søk (k=3), trekker ut relaterte subgrafer Kjededekomponering Multi-operasjonsspørring → Sekvens av enkeltoperasjonsunderspørringer Sekvensiell resonnering Bufre mellomresultater, logisk ordnet Erstatt plassholdere Nøkkelinnsikt: LLM er flinke til enkle spørringer, kompleks spørringsdekomponering forbedrer ytelsen med 20%-33%.
ROG (2025) —— Avansert versjon
Arver LARK-rammeverket, legger til Agent-konsensusmekanisme:
ROG = LARK-kjerne + Multi-Agent-samarbeid + Tankekjedeforsterkning
Forklaring av forbedringspunkter
Agent-design
Intelligent agent = Kunnskapsbase + LLM, multi-agent konsensusbeslutningstaking
CoT-forbedring
Klarere tankekjedepromptmaler
Nasjonal tilpasning
Basert på ChatGLM+Neo4j, rettet mot vertikale felt som elektrisk kraft
ROG sin dataflytmodell
Ytelseshopp: På FB15k øker ip-spørringen (projeksjon etter snitt) MRR fra 29.3→62.0, en økning på 111%!
Tabell 1: FB15k datasett MRR-sammenligning. ROG leder totalt sett, og sammensatte spørringer har den mest signifikante forbedringen.
III. Paradigmeetablering og fremtidige retninger
To generasjoner artikler har i fellesskap bekreftet et paradigme:
"Henteforsterkning + Spørringsdekomponering + LLM-resonnering" er en effektiv vei for KG kompleks logisk resonnering.
Viktige trender:
- Abstraksjon er avgjørende —— Fjern semantisk støy, fokuser på logisk struktur
- Dekomponeringsstrategi bestemmer taket —— Kjededekomponering er mer pålitelig enn ende-til-ende
- Modellkapasiteten fortsetter å frigjøres —— Fra Llama2-7B til ChatGLM, gir fremskritt i basismodellen betydelige gevinster
ROG sin Agent-mekanisme forbedrer riktignok forklarbarheten, men kjerneinnovasjonen ligger i ingeniørmessig optimalisering snarere enn teoretisk gjennombrudd. Fremtidige retninger kan være: dynamiske dekomponeringsstrategier (tilpasset spørringskompleksitet), multimodal KG-fusjon og større skala åpen domenevalidering.
