Nýlega sá ég tvær ágætar ritgerðir um LLM+KG fyrir flókna rökfræðilega ályktun
Nýlega sá ég tvær ágætar ritgerðir um LLM+KG fyrir flókna rökfræðilega ályktun
-
LARK https://arxiv.org/abs/2305.01157 Complex Logical Reasoning over Knowledge Graphs using Large Language Models
-
ROG https://arxiv.org/abs/2512.19092 A Large Language Model Based Method for Complex Logical Reasoning over Knowledge Graphs
I. Erfiðleikar við ályktun þekkingargrunns
Þekkingargrunnur (KG), sem kjarnaberi skipulagðrar þekkingar, stendur frammi fyrir þremur helstu vandamálum:
- Flækjustig: Samsetning sprengingar margra hoppa ályktana, sameininga og sniðmenga, neitana o.s.frv.
- Ófullkomleiki: Raunverulegur KG hefur almennt hávaða og skort
- Almennt gildi: Hefðbundnar innfellingaraðferðir eiga erfitt með að flytja á milli gagnasafna
Hefðbundnar lausnir (eins og Query2Box, BetaE) treysta á rúmfræðilegt innfellingarrými til að móta rökfræðilegar aðgerðir sem vigra/kassa aðgerðir, en upplýsingatapið er alvarlegt við djúpa ályktun. Hvernig getum við látið líkanið skilja bæði rökfræðilega uppbyggingu og álykta sveigjanlega? Uppgangur stórra tungumálamódela (LLM) hefur veitt nýjar hugmyndir.
Mynd 1: Niðurbrot LARK á fyrirspurnarkeðju og LLM ályktunarferli. Brjóttu flóknar fjölvirkra fyrirspurna niður í einvirkar undirfyrirspurnir og leystu þær smám saman.
II. Lausn: Arfleifð og þróun tveggja kynslóða aðferða
LARK (2023) - Brautryðjandi verk
Mynd 2: Niðurbrotsaðferðir fyrir 14 tegundir fyrirspurna. 3p er skipt í 3 vörpun, 3i er skipt í 3 vörpun + 1 sameiningu.
Helstu nýjungar: Fyrirspurnarútdráttur + rökfræðikeðjuniðurbrot
Hönnun íhluta Fyrirspurnarútdráttur Skiptu út einingum/tengslum fyrir auðkenni til að útrýma ofskynjunum og bæta alhæfingu Nálægðarleit dýptarforsætisleit k-hop (k=3) til að draga út viðeigandi undirmyndir Keðjuniðurbrot fjölvirk fyrirspurn → einvirk undirfyrirspurnaröð Röð ályktunar Skyndiminni milliniðurstaðna, rökrétt röð Skiptu út plásshöldum Lykilsýn: LLM er gott í einföldum fyrirspurnum, flóknar fyrirspurnir bæta afköst um 20%-33% eftir niðurbrot.
ROG (2025) - Ítarlegri útgáfa
Erfir LARK rammann og bætir við Agent samstöðukerfi:
ROG = LARK kjarni + fjöl-Agent samstarf + hugsunarkeðjustyrking
Skýringar á endurbótum
Agent hönnun
Greindur aðili = þekkingargrunnur + LLM, fjöl-Agent samstöðuákvörðun
CoT aukning
skýrari hugsunarkeðju hvatningarsniðmát
Innlend aðlögun
Byggt á ChatGLM+Neo4j, fyrir lóðrétt svið eins og raforku
ROG gagnastraums líkan
Afkastaaukning: Á FB15k jókst ip fyrirspurn (vörpun eftir sameiningu) MRR úr 29,3→62,0, sem er 111% aukning!
Tafla 1: FB15k gagnasafn MRR samanburður. ROG er alhliða leiðandi og samsettar fyrirspurnir hafa mestu framförina.
III. Staðfesting á fyrirmynd og framtíðarstefna
Tvær kynslóðir ritgerða hafa sameiginlega staðfest fyrirmynd:
"Leitaraukning + fyrirspurnaniðurbrot + LLM ályktun" er áhrifarík leið fyrir KG flókna rökfræðilega ályktun.
Lykilþróun:
- Útdráttur er mikilvægur - fjarlægðu merkingarhávaða og einbeittu þér að rökfræðilegri uppbyggingu
- Niðurbrotsaðferðir ákvarða efri mörk - keðjuniðurbrot er áreiðanlegra en end-to-end
- Líkangeta er stöðugt gefin út - frá Llama2-7B til ChatGLM, framfarir í grunninum hafa í för með sér verulegan ávinning
Agent kerfi ROG eykur túlkun, en kjarna nýjungin felst í verkfræðilegri hagræðingu frekar en fræðilegri byltingu. Framtíðarstefnan gæti verið: kraftmiklar niðurbrotsaðferðir (aðlagaðar að flækjustigi fyrirspurna), samruni fjölbreyttra KG og staðfesting á stærri opnum sviðum.
