Baru-baru ini, Saya Melihat 2 Kertas Kerja LLM+KG yang Baik untuk Penaakulan Logik Kompleks
Baru-baru ini, saya melihat 2 kertas kerja LLM+KG yang baik untuk penaakulan logik kompleks
-
LARK https://arxiv.org/abs/2305.01157 Complex Logical Reasoning over Knowledge Graphs using Large Language Models
-
ROG https://arxiv.org/abs/2512.19092 A Large Language Model Based Method for Complex Logical Reasoning over Knowledge Graphs
I. Kesukaran Penaakulan Graf Pengetahuan
Graf pengetahuan (KG) sebagai pembawa teras pengetahuan berstruktur, menghadapi tiga masalah utama:
- Kompleksiti: Penaakulan berbilang lompatan, persimpangan dan penyatuan, operasi penafian dan kombinasi letupan
- Ketidaklengkapan: KG dunia sebenar secara amnya mempunyai hingar dan kehilangan
- Generalisasi: Kaedah pembenaman tradisional sukar untuk dipindahkan merentasi set data
Pelan tradisional (seperti Query2Box, BetaE) bergantung pada ruang pembenaman geometri, memodelkan operasi logik sebagai operasi vektor/kotak, tetapi kehilangan maklumat yang serius dalam penaakulan mendalam. Bagaimana untuk membolehkan model memahami struktur logik dan menaakul secara fleksibel? Kebangkitan model bahasa besar (LLM) menyediakan idea baharu.
Rajah 1: Penguraian rantaian pertanyaan LARK dan proses penaakulan LLM. Menguraikan pertanyaan berbilang operasi yang kompleks kepada sub-pertanyaan operasi tunggal dan menyelesaikannya secara beransur-ansur.
II. Pelan: Warisan dan Evolusi Dua Generasi Kaedah
LARK (2023) —— Karya Perintis
Rajah 2: Strategi penguraian untuk 14 jenis pertanyaan. 3p dipecahkan kepada 3 unjuran, dan 3i dipecahkan kepada 3 unjuran + 1 persimpangan.
Inovasi teras: Abstraksi pertanyaan + Penguraian rantaian logik
Komponen mereka bentuk abstraksi pertanyaan entiti/perhubungan digantikan dengan ID, menghapuskan halusinasi dan meningkatkan generalisasi Carian kejiranan k-hop carian keutamaan mendalam (k=3), mengekstrak subgraf yang berkaitan Penguraian berantai pertanyaan berbilang operasi → urutan sub-pertanyaan operasi tunggal Penaakulan berurutan menyimpan sementara hasil pertengahan, penggantian tempat letak logik teratur Wawasan utama: LLM mahir dalam pertanyaan mudah, dan prestasi meningkat sebanyak 20%-33% selepas pertanyaan kompleks diuraikan.
ROG (2025) —— Versi Lanjutan
Mewarisi rangka kerja LARK, menambah mekanisme konsensus Ejen:
ROG = Teras LARK + Kerjasama Berbilang Ejen + Pengukuhan Rantaian Pemikiran
Penjelasan penambahbaikan Reka bentuk ejen Ejen = Pangkalan pengetahuan + LLM, keputusan konsensus berbilang ejen Peningkatan CoT Templat gesaan rantaian pemikiran yang lebih jelas Penyesuaian domestik berdasarkan ChatGLM+Neo4j, berorientasikan kepada bidang menegak seperti kuasa elektrik 
Model aliran data ROG
Lonjakan prestasi: Pada FB15k, pertanyaan ip (unjuran selepas persimpangan) MRR meningkat daripada 29.3→62.0, peningkatan sebanyak 111%!
Jadual 1: Perbandingan MRR set data FB15k. ROG mendahului secara menyeluruh, dan peningkatan pertanyaan komposit adalah yang paling ketara.
III. Penubuhan Paradigma dan Arah Masa Depan
Kedua-dua generasi kertas kerja bersama-sama mengesahkan paradigma:
"Peningkatan carian + penguraian pertanyaan + penaakulan LLM" ialah laluan yang berkesan untuk penaakulan logik kompleks KG.
Trend utama:
- Pengabstrakan adalah penting —— Menghapuskan hingar semantik dan menumpukan pada struktur logik
- Strategi penguraian menentukan had atas —— Penguraian berantai lebih dipercayai daripada hujung ke hujung
- Keupayaan model terus dikeluarkan —— Daripada Llama2-7B kepada ChatGLM, kemajuan asas membawa peningkatan yang ketara
Mekanisme Ejen ROG meningkatkan kebolehjelasan, tetapi inovasi teras terletak pada pengoptimuman kejuruteraan dan bukannya penemuan teori. Arah masa depan mungkin terletak pada: strategi penguraian dinamik (kerumitan pertanyaan adaptif), penggabungan KG berbilang mod, dan pengesahan domain terbuka yang lebih besar.
