Kürzlich gesehene 2 gute LLM+KG-Papers zum komplexen logischen Schlussfolgern
Kürzlich gesehene 2 gute LLM+KG-Papers zum komplexen logischen Schlussfolgern
-
LARK https://arxiv.org/abs/2305.01157 Complex Logical Reasoning over Knowledge Graphs using Large Language Models
-
ROG https://arxiv.org/abs/2512.19092 A Large Language Model Based Method for Complex Logical Reasoning over Knowledge Graphs
I. Die Schwierigkeiten des Knowledge-Graph-Reasonings
Knowledge Graphs (KG) als zentraler Träger strukturierter Informationen stehen vor drei großen Herausforderungen:
- Komplexität: Kombinatorische Explosion durch Operationen wie Multi-Hop-Reasoning, Schnittmengen, Vereinigungen, Negationen usw.
- Unvollständigkeit: Reale KGs weisen häufig Rauschen und fehlende Informationen auf.
- Generalisierbarkeit: Traditionelle Einbettungsmethoden lassen sich schwer auf andere Datensätze übertragen.
Traditionelle Ansätze (wie Query2Box, BetaE) basieren auf geometrischen Einbettungsräumen und modellieren logische Operationen als Vektor-/Box-Operationen, was jedoch bei tiefem Reasoning zu erheblichen Informationsverlusten führt. Wie kann man ein Modell dazu bringen, sowohl die logische Struktur zu verstehen als auch flexibel zu schlussfolgern? Der Aufstieg von Large Language Models (LLM) bietet neue Ansätze.
Abbildung 1: LARKs Abfragekettenzerlegung und LLM-Reasoning-Prozess. Zerlegung komplexer Multi-Operations-Abfragen in Single-Operation-Subabfragen zur schrittweisen Lösung.
II. Lösung: Die Weitergabe und Weiterentwicklung von zwei Generationen von Methoden
LARK (2023) - Ein bahnbrechendes Werk
Abbildung 2: Zerlegungsstrategien für 14 Abfragetypen. 3p wird in 3 Projektionen zerlegt, 3i in 3 Projektionen + 1 Schnittmenge.
Kerninnovation: Abstraktion von Abfragen + Zerlegung von Logikketten
Komponentendesign Abstraktion von Abfragen: Ersetzen von Entitäten/Beziehungen durch IDs, um Halluzinationen zu vermeiden und die Generalisierung zu verbessern Nachbarschaftssuche: k-Hop-Tiefensuche (k=3) zur Extraktion relevanter Subgraphen Kettenzerlegung: Multi-Operations-Abfragen → Sequenz von Single-Operation-Subabfragen Sequentielles Reasoning: Zwischenergebnisse zwischenspeichern, logisch geordnete Platzhalter ersetzen
Kernidee: LLMs eignen sich gut für einfache Abfragen, die Leistung komplexer Abfragen verbessert sich nach der Zerlegung um 20-33%.
ROG (2025) - Eine fortgeschrittene Version
Erbt das LARK-Framework und fügt einen Agent-Konsensmechanismus hinzu:
ROG = LARK-Kern + Multi-Agent-Zusammenarbeit + Chain-of-Thought-Verstärkung
Erläuterung der Verbesserungen
Agent-Design: Agent = Wissensbasis + LLM, Multi-Agent-Konsensentscheidung
CoT-Erweiterung: Deutlichere Chain-of-Thought-Prompt-Vorlagen
Inländische Anpassung: Basierend auf ChatGLM+Neo4j, ausgerichtet auf vertikale Bereiche wie die Energiewirtschaft
ROG-Datenflussmodell
Leistungssteigerung: Auf FB15k steigt der MRR für ip-Abfragen (Projektion nach Schnittmenge) von 29,3 → 62,0, eine Steigerung von 111%!
Tabelle 1: MRR-Vergleich für den FB15k-Datensatz. ROG ist durchweg führend, die Verbesserung bei zusammengesetzten Abfragen ist am deutlichsten.
III. Paradigmenfestlegung und zukünftige Ausrichtung
Zwei Generationen von Papieren bestätigen gemeinsam ein Paradigma:
"Retrieval-Augmentation + Abfragezerlegung + LLM-Reasoning" ist ein effektiver Weg für komplexes logisches Reasoning in KGs.
Wichtige Trends:
- Abstraktion ist entscheidend - semantisches Rauschen entfernen, sich auf die logische Struktur konzentrieren
- Die Zerlegungsstrategie bestimmt die Obergrenze - kettenartige Zerlegung ist zuverlässiger als End-to-End
- Die Modellkapazität wird kontinuierlich freigesetzt - von Llama2-7B bis ChatGLM bringen Fortschritte in der Basisarchitektur deutliche Vorteile
Der Agent-Mechanismus von ROG verbessert zwar die Interpretierbarkeit, die Kerninnovation liegt jedoch eher in der technischen Optimierung als im theoretischen Durchbruch. Zukünftige Richtungen könnten sein: dynamische Zerlegungsstrategien (adaptive Abfragekomplexität), multimodale KG-Fusion und eine umfassendere Validierung im offenen Bereich.
