Son Zamanlarda, LLM+KG ile Karmaşık Mantıksal Çıkarım Yapan 2 İyi Makale Gördüm
Son zamanlarda, LLM+KG ile karmaşık mantıksal çıkarım yapan 2 iyi makale gördüm
-
LARK https://arxiv.org/abs/2305.01157 Complex Logical Reasoning over Knowledge Graphs using Large Language Models (Büyük Dil Modelleri Kullanarak Bilgi Grafikleri Üzerinde Karmaşık Mantıksal Çıkarım)
-
ROG https://arxiv.org/abs/2512.19092 A Large Language Model Based Method for Complex Logical Reasoning over Knowledge Graphs (Büyük Dil Modeline Dayalı Bilgi Grafikleri Üzerinde Karmaşık Mantıksal Çıkarım için Bir Yöntem)
I. Bilgi Grafiği Çıkarımının Zorlukları
Yapılandırılmış bilginin temel taşıyıcısı olan bilgi grafiği (KG) üç büyük sorunla karşı karşıyadır:
- Karmaşıklık: Çok adımlı çıkarım, kesişim ve birleşim, olumsuzlama gibi işlemlerin kombinasyon patlaması
- Eksiklik: Gerçek dünya KG'lerinde yaygın olarak gürültü ve eksiklik bulunur
- Genelleme: Geleneksel gömme yöntemlerinin veri kümeleri arasında geçiş yapması zordur
Geleneksel çözümler (Query2Box, BetaE gibi) geometrik gömme alanına dayanır ve mantıksal işlemleri vektör/kutu işlemleri olarak modeller, ancak derin çıkarım sırasında bilgi kaybı ciddidir. Modelin hem mantıksal yapıyı anlamasını hem de esnek bir şekilde çıkarım yapmasını nasıl sağlayabiliriz? Büyük dil modellerinin (LLM) yükselişi yeni bir fikir sağladı.
Şekil 1: LARK'ın sorgu zinciri ayrıştırma ve LLM çıkarım süreci. Karmaşık çok işlemli sorguları tek işlemli alt sorgulara ayırın ve adım adım çözün.
II. Çözüm: İki Nesil Yöntemin Mirası ve Evrimi
LARK (2023) —— Çığır Açan Çalışma
Şekil 2: 14 sorgu türü için ayrıştırma stratejileri. 3p, 3 projeksiyona ayrılır, 3i, 3 projeksiyon + 1 kesişime ayrılır.
Temel yenilik: Sorgu soyutlama + Mantıksal zincir ayrıştırma
Bileşen tasarımı Sorgu soyutlama Varlık/ilişkiyi ID ile değiştirin, halüsinasyonları ortadan kaldırın, genellemeyi iyileştirin Komşuluk arama k-hop derinlik öncelikli arama (k=3), ilgili alt grafikleri çıkarın Zincirleme ayrıştırma Çok işlemli sorgu → Tek işlemli alt sorgu dizisi Sıralı çıkarım Ara sonuçları önbelleğe alın, mantıksal olarak sıralı Yer tutucuları değiştirin Temel içgörü: LLM basit sorgularda iyidir, karmaşık sorgular ayrıştırıldıktan sonra performans %20-%33 artar.
ROG (2025) —— Gelişmiş Sürüm
LARK çerçevesini devralır, yeni Agent fikir birliği mekanizması ekler:
ROG = LARK çekirdeği + Çoklu Agent işbirliği + Düşünce zinciri güçlendirmesi
Geliştirme noktaları açıklaması
Agent tasarımı
Akıllı ajan = Bilgi tabanı + LLM, çoklu Agent fikir birliği kararı
CoT geliştirme
Daha net düşünce zinciri istem şablonları
Yerli uyarlama
ChatGLM+Neo4j tabanlı, elektrik gibi dikey alanlara yönelik
ROG'un veri akışı modeli
Performans sıçraması: FB15k'da, ip sorgusu (kesişimden sonra projeksiyon) MRR'si 29.3'ten 62.0'a yükseldi, %111'lik bir artış!
Tablo 1: FB15k veri kümesi MRR karşılaştırması. ROG tamamen önde, karmaşık sorgu iyileştirmesi en belirgin.
III. Paradigma Kurulumu ve Gelecek Yönü
İki nesil makale ortak bir paradigmayı doğruladı:
"Arama geliştirme + Sorgu ayrıştırma + LLM çıkarımı" KG karmaşık mantıksal çıkarımı için etkili bir yoldur.
Temel eğilimler:
- Soyutlama çok önemlidir —— Anlamsal gürültüyü ortadan kaldırın, mantıksal yapıya odaklanın
- Ayrıştırma stratejisi üst sınırı belirler —— Zincirleme ayrıştırma uçtan uca olandan daha güvenilirdir
- Model yeteneği sürekli olarak serbest bırakılıyor —— Llama2-7B'den ChatGLM'ye, temel ilerleme önemli kazanımlar sağlıyor
ROG'un Agent mekanizması yorumlanabilirliği artırsa da, temel yenilik teorik atılımdan ziyade mühendislik optimizasyonundadır. Gelecekteki yönler şunlar olabilir: dinamik ayrıştırma stratejileri (uyarlanabilir sorgu karmaşıklığı), çok modlu KG füzyonu ve daha büyük ölçekli açık alan doğrulaması.
