Kamakailan, Nakakita Ako ng 2 Magagandang Papel Tungkol sa LLM+KG para sa Masalimuot na Lohikal na Pangangatwiran
Kamakailan, nakakita ako ng 2 magagandang papel tungkol sa LLM+KG para sa masalimuot na lohikal na pangangatwiran
-
LARK https://arxiv.org/abs/2305.01157 Complex Logical Reasoning over Knowledge Graphs using Large Language Models
-
ROG https://arxiv.org/abs/2512.19092 A Large Language Model Based Method for Complex Logical Reasoning over Knowledge Graphs
I. Ang Paghihirap ng Pangangatwiran sa Knowledge Graph
Ang knowledge graph (KG), bilang pangunahing tagapagdala ng structured knowledge, ay nahaharap sa tatlong pangunahing problema:
- Pagiging kumplikado: Ang pagsasama-sama ng mga operasyon tulad ng multi-hop reasoning, intersection at union, at negation ay sumasabog
- Hindi kumpleto: Ang mga tunay na KG ay karaniwang may ingay at nawawalang impormasyon
- Paglalahat: Ang mga tradisyonal na paraan ng pag-embed ay nahihirapang lumipat sa iba't ibang dataset
Ang mga tradisyonal na solusyon (tulad ng Query2Box, BetaE) ay umaasa sa geometric embedding space, na nagmomodelo ng mga lohikal na operasyon bilang vector/box operations, ngunit nagdudulot ng malaking pagkawala ng impormasyon sa malalim na pangangatwiran. Paano magagawang maintindihan ng modelo ang lohikal na istraktura at magkaroon ng kakayahang umangkop sa pangangatwiran? Ang pag-usbong ng malalaking modelo ng wika (LLM) ay nagbibigay ng bagong paraan ng pag-iisip.
Figure 1: Ang query chain decomposition at LLM reasoning process ng LARK. Hinihiwalay ang kumplikadong multi-operation query sa single-operation sub-queries, at unti-unting nilulutas ang mga ito.
II. Solusyon: Ang Pamana at Ebolusyon ng Dalawang Henerasyon ng Paraan
LARK (2023) —— Ang Pioneer
Figure 2: Ang diskarte sa decomposition para sa 14 na uri ng query. Ang 3p ay hinihiwalay sa 3 projection, at ang 3i ay hinihiwalay sa 3 projection + 1 intersection.
Pangunahing pagbabago: Query abstraction + Logical chain decomposition
Disenyo ng component Query abstraction Pinapalitan ang mga entity/relasyon ng ID upang maalis ang mga guni-guni at mapabuti ang paglalahat Neighborhood retrieval k-hop depth-first traversal (k=3) upang kunin ang mga kaugnay na subgraph Chain decomposition Multi-operation query → Sequence ng single-operation sub-queries Sequential reasoning I-cache ang mga intermediate na resulta, lohikal na maayos Placeholder replacement Pangunahing insight: Mahusay ang LLM sa mga simpleng query, at ang pagganap ay tumataas ng 20%-33% pagkatapos hatiin ang mga kumplikadong query.
ROG (2025) —— Advanced na Bersyon
Nagmana ng LARK framework, nagdagdag ng Agent consensus mechanism:
ROG = LARK core + Multi-Agent collaboration + Chain-of-Thought reinforcement
Mga tala sa pagpapabuti
Agent design
Intelligence = Knowledge base + LLM, multi-Agent consensus decision
CoT enhancement
Mas malinaw na mga template ng prompt ng chain-of-thought
Domestic adaptation
Batay sa ChatGLM+Neo4j, na nakatuon sa mga vertical na lugar tulad ng kuryente
ROG data flow model
Pagtaas ng pagganap: Sa FB15k, ang ip query (projection pagkatapos ng intersection) MRR ay tumaas mula 29.3→62.0, isang pagtaas ng 111%!
Table 1: Paghahambing ng MRR ng FB15k dataset. Nangunguna ang ROG sa lahat ng aspeto, at ang pagpapabuti sa mga composite query ay pinakamahalaga.
III. Pagtatatag ng Paradigm at Mga Direksyon sa Hinaharap
Ang dalawang henerasyon ng papel ay magkasamang nagpapatunay ng isang paradigm:
"Retrieval augmentation + Query decomposition + LLM reasoning" ay isang epektibong landas para sa KG complex logical reasoning.
Mga pangunahing trend:
- Ang abstraction ay mahalaga —— Inaalis ang semantic noise at nakatuon sa lohikal na istraktura
- Ang diskarte sa decomposition ay tumutukoy sa limitasyon sa itaas —— Ang chain decomposition ay mas maaasahan kaysa sa end-to-end
- Ang kakayahan ng modelo ay patuloy na inilalabas —— Mula sa Llama2-7B hanggang ChatGLM, ang pag-unlad ng base ay nagdudulot ng makabuluhang pakinabang
Bagama't pinahuhusay ng mekanismo ng Agent ng ROG ang pagiging interpretable, ang pangunahing pagbabago ay nasa engineering optimization sa halip na teoretikal na pambihirang tagumpay. Ang mga direksyon sa hinaharap ay maaaring nasa: dynamic decomposition strategy (adaptive query complexity), multi-modal KG fusion, at mas malaking open-domain validation.
