Baru-baru ini, Saya Melihat 2 Paper Bagus tentang LLM+KG untuk Penalaran Logika Kompleks

Baru-baru ini, Saya Melihat 2 Paper Bagus tentang LLM+KG untuk Penalaran Logika Kompleks

1. LARK https://arxiv.org/abs/2305.01157 Complex Logical Reasoning over Knowledge Graphs using Large Language Models

2. ROG https://arxiv.org/abs/2512.19092 A Large Language Model Based Method for Complex Logical Reasoning over Knowledge Graphs

I. Kesulitan Penalaran Knowledge Graph

Knowledge Graph (KG) sebagai pembawa inti pengetahuan terstruktur, menghadapi tiga masalah utama:

• Kompleksitas: Kombinasi eksplosif dari penalaran multi-hop, irisan dan gabungan, negasi, dll.
• Ketidaklengkapan: KG dunia nyata umumnya memiliki noise dan kekurangan
• Generalisasi: Metode embedding tradisional sulit untuk ditransfer lintas dataset

Solusi tradisional (seperti Query2Box, BetaE) bergantung pada ruang embedding geometris, memodelkan operasi logika sebagai operasi vektor/kotak, tetapi kehilangan informasi secara serius dalam penalaran mendalam. Bagaimana cara membuat model memahami struktur logika dan dapat melakukan penalaran secara fleksibel? Kebangkitan Large Language Model (LLM) menawarkan ide-ide baru.

Gambar 1: Dekomposisi rantai kueri dan alur penalaran LLM LARK. Memecah kueri multi-operasi yang kompleks menjadi sub-kueri operasi tunggal dan menyelesaikannya secara bertahap.

II. Solusi: Warisan dan Evolusi Dua Generasi Metode

LARK (2023) —— Karya Perintis

Gambar 2: Strategi dekomposisi untuk 14 jenis kueri. 3p dipecah menjadi 3 proyeksi, 3i dipecah menjadi 3 proyeksi + 1 irisan.

Inovasi inti: Abstraksi Kueri + Dekomposisi Rantai Logika

Desain Komponen Abstraksi Kueri Entitas/relasi diganti dengan ID, menghilangkan halusinasi dan meningkatkan generalisasi Pencarian Lingkungan Traversal kedalaman-pertama k-hop (k=3), mengekstrak subgraf terkait Dekomposisi Rantai Kueri multi-operasi → Urutan sub-kueri operasi tunggal Penalaran Berurutan Menyimpan hasil antara, penggantian placeholder logis terurut Wawasan Utama: LLM mahir dalam kueri sederhana, kinerja meningkat 20%-33% setelah kueri kompleks dipecah.

ROG (2025) —— Versi Tingkat Lanjut

Mewarisi kerangka kerja LARK, menambahkan mekanisme konsensus Agent:

ROG = Inti LARK + Kolaborasi Multi-Agent + Peningkatan Chain-of-Thought

Penjelasan Peningkatan Desain Agent Agen = Basis Pengetahuan + LLM, pengambilan keputusan konsensus multi-Agent CoT Enhancement Template prompt Chain-of-Thought yang lebih jelas Adaptasi Domestik Berdasarkan ChatGLM+Neo4j, berorientasi pada bidang vertikal seperti tenaga listrik Model aliran data ROG

Lonjakan Kinerja: Pada FB15k, kueri ip (proyeksi setelah irisan) MRR meningkat dari 29.3→62.0, peningkatan 111%!

Tabel 1: Perbandingan MRR Dataset FB15k. ROG memimpin secara komprehensif, dan peningkatan kueri gabungan adalah yang paling signifikan.

III. Pembentukan Paradigma dan Arah Masa Depan

Kedua generasi paper bersama-sama memvalidasi sebuah paradigma:

"Peningkatan pengambilan + dekomposisi kueri + penalaran LLM" adalah jalur yang efektif untuk penalaran logika kompleks KG.

Tren Utama:

• Abstraksi sangat penting —— menghilangkan noise semantik dan fokus pada struktur logika
• Strategi dekomposisi menentukan batas atas —— dekomposisi rantai lebih andal daripada ujung ke ujung
• Kemampuan model terus dilepaskan —— dari Llama2-7B ke ChatGLM, peningkatan basis membawa keuntungan yang signifikan

Meskipun mekanisme Agent ROG meningkatkan kemampuan interpretasi, inovasi inti terletak pada optimalisasi rekayasa daripada terobosan teoretis. Arah masa depan mungkin terletak pada: strategi dekomposisi dinamis (kompleksitas kueri adaptif), fusi KG multi-modal, dan validasi domain terbuka skala yang lebih besar.