अलीकडील काळात, LLM+KG वापरून गुंतागुंतीच्या तार्किक अनुमानांवर आधारित 2 चांगली पेपर्स बघायला मिळाली.
अलीकडील काळात, LLM+KG वापरून गुंतागुंतीच्या तार्किक अनुमानांवर आधारित 2 चांगली पेपर्स बघायला मिळाली.
-
LARK https://arxiv.org/abs/2305.01157 Complex Logical Reasoning over Knowledge Graphs using Large Language Models
-
ROG https://arxiv.org/abs/2512.19092 A Large Language Model Based Method for Complex Logical Reasoning over Knowledge Graphs
१. ज्ञान आलेख अनुमानाची (Knowledge Graph Reasoning) अडचण
ज्ञान आलेख (Knowledge Graph - KG), संरचित ज्ञानाचा (structured knowledge) महत्वाचा आधारस्तंभ म्हणून, तीन मुख्य अडचणींचा सामना करतो:
- गुंतागुंत: अनेक टप्प्यांचे अनुमान, संयोग (conjunction) आणि छेद (intersection), नकार (negation) इत्यादी क्रियांच्या संयोजनामुळे होणारा विस्फोट.
- अपूर्णता: वास्तविक जगात KG मध्ये सामान्यतः आवाज (noise) आणि त्रुटी आढळतात.
- सामान्यीकरण: पारंपरिक एम्बेडिंग पद्धती (embedding methods) डेटासेटमध्ये बदल करणे कठीण करतात.
पारंपरिक उपाय (जसे Query2Box, BetaE) भूमितीय एम्बेडिंग स्पेसवर (geometric embedding space) अवलंबून असतात, जे तार्किक क्रियांचे मॉडेलिंग व्हेक्टर/बॉक्स ऑपरेशन्समध्ये करतात, परंतु खोलवर अनुमान काढताना माहिती मोठ्या प्रमाणात गमावली जाते. मॉडेलला तार्किक रचना समजून घेऊन लवचिकपणे अनुमान कसे काढता येईल? मोठ्या भाषिक मॉडेलचा (Large Language Model - LLM) उदय एक नवीन विचार पुढे आणतो.
आकृती १: LARK च्या क्वेरी साखळीचे विघटन आणि LLM अनुमान प्रक्रिया. जटिल बहु-ऑपरेशन क्वेरीचे (multi-operation query) एकेरी-ऑपरेशन उपक्वेरीमध्ये (single-operation subquery) विभाजन करून, हळूहळू सोप्या पद्धतीने उत्तर शोधणे.
२. उपाय: दोन पिढ्यांचा वारसा आणि विकास
LARK (२०२३) - सुरुवात
आकृती २: १४ प्रकारच्या क्वेरीसाठी विभाजन धोरण. 3p चे 3 प्रोजेक्शनमध्ये विभाजन, 3i चे 3 प्रोजेक्शन + 1 इंटरसेक्शनमध्ये विभाजन.
मुख्य नवकल्पना: क्वेरी अमूर्तता (Query Abstraction) + लॉजिकल साखळी विघटन (Logical Chain Decomposition)
घटक रचना (Component Design): क्वेरी अमूर्तता: घटकांसाठी ID चा वापर, ज्यामुळे चुकीच्या कल्पना दूर होतात आणि सामान्यीकरण सुधारते. निकटवर्ती शोध (Neighborhood Retrieval): k-hop डेप्थ-फर्स्ट ट्रॅव्हर्सल (k=3), संबंधित उप-आलेखांची (sub-graph) साखळी काढतो. साखळी विघटन: अनेक क्रिया असलेल्या क्वेरी → एकेरी क्रिया असलेल्या उपक्वेरी क्रमवार अनुमान (Sequential Reasoning): मध्यवर्ती परिणामांना कॅशेमध्ये साठवणे, तार्किक क्रमाने प्लेसहोल्डर बदलणे. महत्वाचे निरीक्षण: LLM साध्या क्वेरीमध्ये चांगले आहे, जटिल क्वेरी विभाजित केल्यावर कार्यक्षमता 20%-33% ने वाढते.
ROG (२०२५) - प्रगत आवृत्ती
LARK फ्रेमवर्कचा वारसा, नवीन Agent सहमती यंत्रणा (Agent Consensus Mechanism) समाविष्ट:
ROG = LARK चा गाभा + मल्टी-एजंट सहयोग (Multi-Agent Collaboration) + विचार साखळी मजबुतीकरण (Chain of Thought Reinforcement)
सुधारणेचे मुद्दे:
एजंट रचना: इंटेलिजेंट एजंट = ज्ञानकोश (Knowledge Base) + LLM, मल्टी-एजंट सहमती निर्णय
CoT वर्धित: अधिक स्पष्ट विचार साखळी सूचना टेम्पलेट (prompt template)
देशांतर्गत जुळणारे: ChatGLM+Neo4j वर आधारित, वीज क्षेत्रासारख्या उभ्या क्षेत्रांसाठी (vertical domains).
ROG चा डेटा फ्लो मॉडेल
कार्यक्षमतेत वाढ: FB15k वर, ip क्वेरी (interception after projection) MRR 29.3 → 62.0 पर्यंत वाढला, 111% सुधारणा!
टेबल 1: FB15k डेटासेट MRR तुलना. ROG सर्व बाबतीत पुढे, मिश्र क्वेरीमध्ये (compound query) लक्षणीय सुधारणा.
३. प्रतिमान निश्चिती आणि भविष्यातील दिशा
दोन पिढ्यांच्या पेपर्सने एक प्रतिमान (paradigm) प्रमाणित केले आहे:
"शोध वर्धितता (Retrieval Augmentation) + क्वेरी विघटन (Query Decomposition) + LLM अनुमान" हा KG जटिल तार्किक अनुमानासाठी प्रभावी मार्ग आहे.
महत्वाचे ट्रेंड:
- अमूर्तता (Abstraction) महत्त्वपूर्ण आहे - सिमेंटिक आवाजाला (semantic noise) दूर करणे, तार्किक संरचनेवर लक्ष केंद्रित करणे.
- विघटन धोरण (Decomposition Strategy) कमाल मर्यादा निश्चित करते - साखळी विघटन एंड-टू-एंड (end-to-end) पेक्षा अधिक विश्वसनीय आहे.
- मॉडेल क्षमता सतत वाढत आहे - Llama2-7B पासून ChatGLM पर्यंत, बेस मॉडेलमधील (base model) प्रगतीमुळे लक्षणीय वाढ झाली आहे.
ROG ची Agent यंत्रणा स्पष्टता वाढवते, परंतु मुख्य नवकल्पना सैद्धांतिक प्रगतीऐवजी अभियांत्रिकी ऑप्टिमायझेशनमध्ये (engineering optimization) आहे. भविष्यातील दिशा गतिशील विघटन धोरणे (adaptive query complexity), मल्टीमॉडल KG फ्यूजन (multi-modal KG fusion) आणि मोठ्या प्रमाणावर ओपन-डोमेन पडताळणी (open-domain validation) असू शकतात.
