حالیہ، میں نے LLM+KG کے ساتھ پیچیدہ منطقی استدلال پر 2 اچھے مقالے دیکھے
حالیہ، میں نے LLM+KG کے ساتھ پیچیدہ منطقی استدلال پر 2 اچھے مقالے دیکھے
-
LARK https://arxiv.org/abs/2305.01157 Complex Logical Reasoning over Knowledge Graphs using Large Language Models
-
ROG https://arxiv.org/abs/2512.19092 A Large Language Model Based Method for Complex Logical Reasoning over Knowledge Graphs
ایک، نالج گراف استدلال کی مشکلات
نالج گراف (KG) جو کہ ساختہ علم کا بنیادی کیریئر ہے، کو تین بڑے مسائل کا سامنا ہے:
- پیچیدگی: متعدد ہاپ استدلال، تقاطع اور اتحاد، نفی جیسے آپریشنز کا مجموعہ دھماکہ خیز ہے۔
- نامکمل پن: حقیقی دنیا کے KG میں عام طور پر شور اور گمشدگی موجود ہے۔
- عمومیت: روایتی ایمبیڈنگ کے طریقے ڈیٹا سیٹس کے درمیان منتقل ہونا مشکل ہے۔
روایتی حل (جیسے Query2Box, BetaE) جیومیٹرک ایمبیڈنگ اسپیس پر انحصار کرتے ہیں، منطقی آپریشنز کو ویکٹر/باکس آپریشنز کے طور پر ماڈل کرتے ہیں، لیکن گہرے استدلال میں معلومات کا شدید نقصان ہوتا ہے۔ ماڈل کو منطقی ڈھانچہ کیسے سمجھایا جائے اور اسے لچکدار طریقے سے استدلال کرنے کے قابل کیسے بنایا جائے؟ بڑے لسانی ماڈل (LLM) کا عروج ایک نیا خیال فراہم کرتا ہے۔
تصویر 1: LARK کے استفسار چین کی تحلیل اور LLM استدلال کا عمل۔ پیچیدہ کثیر آپریشن استفسارات کو واحد آپریشن ذیلی استفسارات میں تقسیم کریں اور بتدریج حل کریں۔
دو، حل: دو نسلوں کے طریقوں کی وراثت اور ارتقاء
LARK (2023) —— سنگ میل
تصویر 2: 14 قسم کے استفسارات کے لیے تحلیل کی حکمت عملی۔ 3p کو 3 پروجیکشنز میں تقسیم کیا گیا ہے، 3i کو 3 پروجیکشنز + 1 تقاطع میں تقسیم کیا گیا ہے۔
بنیادی اختراع: استفسار تجرید + منطقی زنجیر کی تحلیل
اجزاء کا ڈیزائن استفسار تجرید: ہستیوں/تعلقات کو ID سے تبدیل کریں، فریب نظر کو ختم کریں، عمومیت کو بہتر بنائیں ہمسائیگی کی بازیافت: k-hop ڈیپتھ فرسٹ ٹراورسل (k=3)، متعلقہ ذیلی گراف کو نکالیں زنجیر کی تحلیل: کثیر آپریشن استفسار → واحد آپریشن ذیلی استفسار کی ترتیب ترتیب وار استدلال: درمیانی نتائج کو کیش کریں، منطقی طور پر ترتیب وار پلیس ہولڈر کو تبدیل کریں: اہم بصیرت: LLM سادہ استفسارات میں اچھا ہے، پیچیدہ استفسارات کو تحلیل کرنے کے بعد کارکردگی میں 20%-33% اضافہ ہوتا ہے۔
ROG (2025) —— ایڈوانسڈ ورژن
LARK فریم ورک کو وراثت میں ملا، نیا ایجنٹ اتفاق رائے میکانزم شامل کیا گیا:
ROG = LARK کور + ملٹی ایجنٹ تعاون + سوچ کی زنجیر کو مضبوط بنانا
بہتری کی وضاحت
ایجنٹ ڈیزائن: ذہین ایجنٹ = نالج بیس + LLM، ملٹی ایجنٹ اتفاق رائے کا فیصلہ
CoT میں اضافہ: سوچ کی زنجیر کے واضح اشارے کے ٹیمپلیٹس
ملکی موافقت: ChatGLM+Neo4j پر مبنی، بجلی جیسے عمودی شعبوں کے لیے
ROG کا ڈیٹا فلو ماڈل
کارکردگی میں اضافہ: FB15k پر، ip استفسار (تقاطع کے بعد پروجیکشن) MRR 29.3 سے 62.0 تک، 111% اضافہ!
ٹیبل 1: FB15k ڈیٹا سیٹ MRR کا موازنہ۔ ROG مکمل طور پر آگے ہے، مرکب استفسار میں سب سے زیادہ نمایاں اضافہ ہے۔
تین، پیراڈائم کا قیام اور مستقبل کی سمت
دونوں نسلوں کے مقالوں نے مشترکہ طور پر ایک پیراڈائم کی تصدیق کی:
"بازیافت میں اضافہ + استفسار کی تحلیل + LLM استدلال" KG پیچیدہ منطقی استدلال کا ایک مؤثر راستہ ہے۔
اہم رجحانات:
- تجرید بہت اہم ہے —— سیمنٹک شور کو ختم کریں، منطقی ڈھانچے پر توجہ مرکوز کریں
- تحلیل کی حکمت عملی اوپری حد کا تعین کرتی ہے —— زنجیر کی تحلیل اینڈ ٹو اینڈ سے زیادہ قابل اعتماد ہے
- ماڈل کی صلاحیت مسلسل جاری کی جا رہی ہے —— Llama2-7B سے ChatGLM تک، بیس ماڈل کی ترقی نمایاں فوائد لاتی ہے۔
ROG کا ایجنٹ میکانزم اگرچہ تشریح کو بڑھاتا ہے، لیکن بنیادی اختراع انجینئرنگ کی اصلاح میں ہے نہ کہ نظریاتی پیش رفت میں۔ مستقبل کی سمتیں ہو سکتی ہیں: متحرک تحلیل کی حکمت عملی (استفسار کی پیچیدگی کے مطابق ڈھالنا)، ملٹی موڈل KG انضمام، اور بڑے پیمانے پر اوپن ڈومین کی توثیق۔
