Gần đây, tôi đã xem 2 bài báo hay về suy luận logic phức tạp bằng LLM+KG
Gần đây, tôi đã xem 2 bài báo hay về suy luận logic phức tạp bằng LLM+KG
-
LARK https://arxiv.org/abs/2305.01157 Complex Logical Reasoning over Knowledge Graphs using Large Language Models
-
ROG https://arxiv.org/abs/2512.19092 A Large Language Model Based Method for Complex Logical Reasoning over Knowledge Graphs
I. Khó khăn trong suy luận đồ thị tri thức
Đồ thị tri thức (KG) là nền tảng cốt lõi của tri thức có cấu trúc, đối mặt với ba điểm yếu chính:
- Độ phức tạp: Tổ hợp bùng nổ của các thao tác đa bước, giao và hợp, phủ định, v.v.
- Tính không đầy đủ: KG thế giới thực thường có nhiễu và thiếu sót
- Tính tổng quát: Các phương pháp nhúng truyền thống khó chuyển giao giữa các tập dữ liệu
Các giải pháp truyền thống (như Query2Box, BetaE) dựa vào không gian nhúng hình học, mô hình hóa các thao tác logic thành các phép toán vector/hộp, nhưng lại gây mất mát thông tin nghiêm trọng khi suy luận sâu. Làm thế nào để mô hình vừa hiểu cấu trúc logic, vừa có thể suy luận linh hoạt? Sự trỗi dậy của các mô hình ngôn ngữ lớn (LLM) đã mang đến một hướng đi mới.
Hình 1: Quy trình phân tích chuỗi truy vấn và suy luận LLM của LARK. Phân tách các truy vấn đa thao tác phức tạp thành các truy vấn con một thao tác, giải quyết từng bước.
II. Giải pháp: Kế thừa và tiến hóa của hai thế hệ phương pháp
LARK (2023) —— Tác phẩm khai sơn
Hình 2: Chiến lược phân tích 14 loại truy vấn. 3p được chia thành 3 phép chiếu, 3i được chia thành 3 phép chiếu + 1 phép giao.
Đổi mới cốt lõi: Trừu tượng hóa truy vấn + Phân tích chuỗi logic
Thiết kế thành phần:
- Trừu tượng hóa truy vấn: Thay thế thực thể/quan hệ bằng ID, loại bỏ ảo giác, nâng cao tính tổng quát
- Truy xuất lân cận: Duyệt ưu tiên độ sâu k-hop (k=3), trích xuất đồ thị con liên quan
- Phân tích chuỗi: Truy vấn đa thao tác → Chuỗi truy vấn con một thao tác
- Suy luận tuần tự: Lưu trữ kết quả trung gian, thay thế trình giữ chỗ theo thứ tự logic
Nhận định quan trọng: LLM giỏi các truy vấn đơn giản, hiệu suất tăng 20%-33% sau khi phân tích các truy vấn phức tạp.
ROG (2025) —— Phiên bản nâng cao
Kế thừa khung LARK, bổ sung cơ chế đồng thuận Agent:
ROG = LARK cốt lõi + Hợp tác đa Agent + Tăng cường chuỗi tư duy
Giải thích các điểm cải tiến:
- Thiết kế Agent: Tác nhân thông minh = Cơ sở tri thức + LLM, ra quyết định đồng thuận đa Agent
- Tăng cường CoT: Mẫu gợi ý chuỗi tư duy rõ ràng hơn
- Thích ứng trong nước: Dựa trên ChatGLM+Neo4j, hướng đến các lĩnh vực dọc như điện lực
Mô hình luồng dữ liệu của ROG
Hiệu suất vượt trội: Trên FB15k, truy vấn ip (phép chiếu sau giao) MRR tăng từ 29.3→62.0, tăng 111%!
Bảng 1: So sánh MRR trên tập dữ liệu FB15k. ROG dẫn đầu toàn diện, cải thiện đáng kể nhất ở các truy vấn phức hợp.
III. Xác lập mô hình và hướng đi tương lai
Hai thế hệ bài báo cùng xác minh một mô hình:
"Truy xuất tăng cường + Phân tích truy vấn + Suy luận LLM" là con đường hiệu quả cho suy luận logic phức tạp KG.
Xu hướng quan trọng:
- Trừu tượng hóa là vô cùng quan trọng —— Loại bỏ nhiễu ngữ nghĩa, tập trung vào cấu trúc logic
- Chiến lược phân tích quyết định giới hạn trên —— Phân tích chuỗi đáng tin cậy hơn so với đầu cuối
- Khả năng mô hình tiếp tục được giải phóng —— Từ Llama2-7B đến ChatGLM, sự tiến bộ của cơ sở mang lại lợi ích đáng kể
Cơ chế Agent của ROG tuy tăng cường khả năng giải thích, nhưng đổi mới cốt lõi nằm ở tối ưu hóa kỹ thuật chứ không phải đột phá lý thuyết. Hướng đi tương lai có thể nằm ở: chiến lược phân tích động (tự thích ứng với độ phức tạp của truy vấn), hợp nhất KG đa phương thức và xác minh trên miền mở quy mô lớn hơn.
