ਨੇੜਲੇ ਭਵਿੱਖ ਵਿੱਚ, ਮੈਂ LLM+KG ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਗੁੰਝਲਦਾਰ ਤਰਕਪੂਰਨ ਤਰਕ 'ਤੇ 2 ਵਧੀਆ ਪੇਪਰ ਦੇਖੇ
ਨੇੜਲੇ ਭਵਿੱਖ ਵਿੱਚ, ਮੈਂ LLM+KG ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਗੁੰਝਲਦਾਰ ਤਰਕਪੂਰਨ ਤਰਕ 'ਤੇ 2 ਵਧੀਆ ਪੇਪਰ ਦੇਖੇ
-
LARK https://arxiv.org/abs/2305.01157 Complex Logical Reasoning over Knowledge Graphs using Large Language Models
-
ROG https://arxiv.org/abs/2512.19092 A Large Language Model Based Method for Complex Logical Reasoning over Knowledge Graphs
ਇੱਕ, ਗਿਆਨ ਗ੍ਰਾਫ ਤਰਕ ਦੀ ਦੁਬਿਧਾ
ਗਿਆਨ ਗ੍ਰਾਫ (KG), ਢਾਂਚਾਗਤ ਗਿਆਨ ਦੇ ਮੁੱਖ ਕੈਰੀਅਰ ਵਜੋਂ, ਤਿੰਨ ਵੱਡੇ ਦਰਦ ਪੁਆਇੰਟਾਂ ਦਾ ਸਾਹਮਣਾ ਕਰਦਾ ਹੈ:
- ਗੁੰਝਲਤਾ: ਮਲਟੀ-ਹੌਪ ਤਰਕ, ਇੰਟਰਸੈਕਸ਼ਨ ਅਤੇ ਯੂਨੀਅਨ, ਨਕਾਰਾਤਮਕ ਕਾਰਵਾਈਆਂ, ਆਦਿ ਦਾ ਸੁਮੇਲ ਵਿਸਫੋਟ
- ਅਪੂਰਨਤਾ: ਅਸਲ-ਸੰਸਾਰ KG ਆਮ ਤੌਰ 'ਤੇ ਸ਼ੋਰ ਅਤੇ ਗੁੰਮ ਹੋਣ ਨਾਲ ਮੌਜੂਦ ਹੁੰਦੇ ਹਨ
- ਸਧਾਰਣਤਾ: ਰਵਾਇਤੀ ਏਮਬੈਡਿੰਗ ਵਿਧੀਆਂ ਲਈ ਡਾਟਾ ਸੈੱਟਾਂ ਵਿੱਚ ਮਾਈਗਰੇਟ ਕਰਨਾ ਮੁਸ਼ਕਲ ਹੁੰਦਾ ਹੈ
ਰਵਾਇਤੀ ਹੱਲ (ਜਿਵੇਂ ਕਿ Query2Box, BetaE) ਜਿਓਮੈਟ੍ਰਿਕ ਏਮਬੈਡਿੰਗ ਸਪੇਸ 'ਤੇ ਨਿਰਭਰ ਕਰਦੇ ਹਨ, ਅਤੇ ਵੈਕਟਰ/ਬਾਕਸ ਓਪਰੇਸ਼ਨਾਂ ਦੇ ਰੂਪ ਵਿੱਚ ਲਾਜ਼ੀਕਲ ਓਪਰੇਸ਼ਨਾਂ ਨੂੰ ਮਾਡਲ ਕਰਦੇ ਹਨ, ਪਰ ਡੂੰਘਾਈ ਨਾਲ ਤਰਕ ਕਰਨ ਵੇਲੇ ਜਾਣਕਾਰੀ ਦਾ ਨੁਕਸਾਨ ਗੰਭੀਰ ਹੁੰਦਾ ਹੈ। ਮਾਡਲ ਨੂੰ ਲਾਜ਼ੀਕਲ ਢਾਂਚੇ ਨੂੰ ਕਿਵੇਂ ਸਮਝਣਾ ਹੈ ਅਤੇ ਲਚਕਦਾਰ ਢੰਗ ਨਾਲ ਤਰਕ ਕਰਨਾ ਹੈ? ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲ (LLM) ਦਾ ਉਭਾਰ ਇੱਕ ਨਵਾਂ ਵਿਚਾਰ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ।
ਚਿੱਤਰ 1: LARK ਦੀ ਕੁਐਰੀ ਚੇਨ ਡੀਕੰਪੋਜ਼ੀਸ਼ਨ ਅਤੇ LLM ਤਰਕ ਪ੍ਰਕਿਰਿਆ। ਗੁੰਝਲਦਾਰ ਮਲਟੀ-ਓਪਰੇਸ਼ਨ ਕੁਐਰੀ ਨੂੰ ਸਿੰਗਲ-ਓਪਰੇਸ਼ਨ ਸਬ-ਕੁਐਰੀ ਵਿੱਚ ਵੰਡੋ, ਅਤੇ ਹੌਲੀ-ਹੌਲੀ ਹੱਲ ਕਰੋ।
ਦੋ, ਹੱਲ: ਦੋ ਪੀੜ੍ਹੀਆਂ ਦੇ ਤਰੀਕਿਆਂ ਦੀ ਵਿਰਾਸਤ ਅਤੇ ਵਿਕਾਸ
LARK (2023) —— ਮੋਹਰੀ ਕੰਮ
ਚਿੱਤਰ 2: 14 ਕਿਸਮਾਂ ਦੀਆਂ ਕੁਐਰੀਆਂ ਲਈ ਡੀਕੰਪੋਜ਼ੀਸ਼ਨ ਰਣਨੀਤੀਆਂ। 3p ਨੂੰ 3 ਪ੍ਰੋਜੈਕਸ਼ਨਾਂ ਵਿੱਚ ਵੰਡਿਆ ਗਿਆ ਹੈ, ਅਤੇ 3i ਨੂੰ 3 ਪ੍ਰੋਜੈਕਸ਼ਨਾਂ + 1 ਇੰਟਰਸੈਕਸ਼ਨ ਵਿੱਚ ਵੰਡਿਆ ਗਿਆ ਹੈ।
ਮੁੱਖ ਨਵੀਨਤਾ: ਕੁਐਰੀ ਐਬਸਟਰੈਕਸ਼ਨ + ਲਾਜ਼ੀਕਲ ਚੇਨ ਡੀਕੰਪੋਜ਼ੀਸ਼ਨ
ਕੰਪੋਨੈਂਟ ਡਿਜ਼ਾਈਨ ਕੁਐਰੀ ਐਬਸਟਰੈਕਸ਼ਨ ਐਂਟੀਟੀ/ਰਿਲੇਸ਼ਨਸ਼ਿਪ ਨੂੰ ID ਨਾਲ ਬਦਲੋ, ਭੁਲੇਖੇ ਨੂੰ ਦੂਰ ਕਰੋ ਅਤੇ ਸਧਾਰਣਤਾ ਨੂੰ ਵਧਾਓ ਨੇਬਰਹੁੱਡ ਰੀਟਰੀਵਲ k-hop ਡੂੰਘਾਈ-ਪਹਿਲਾਂ ਟ੍ਰੈਵਰਸਲ (k=3), ਸੰਬੰਧਿਤ ਸਬਗ੍ਰਾਫ ਕੱਢੋ ਚੇਨ ਡੀਕੰਪੋਜ਼ੀਸ਼ਨ ਮਲਟੀ-ਓਪਰੇਸ਼ਨ ਕੁਐਰੀ → ਸਿੰਗਲ-ਓਪਰੇਸ਼ਨ ਸਬ-ਕੁਐਰੀ ਸੀਕਵੈਂਸ ਕ੍ਰਮ ਤਰਕ ਵਿਚਕਾਰਲੇ ਨਤੀਜਿਆਂ ਨੂੰ ਕੈਸ਼ ਕਰੋ, ਲਾਜ਼ੀਕਲ ਕ੍ਰਮ ਵਿੱਚ ਪਲੇਸਹੋਲਡਰਾਂ ਨੂੰ ਬਦਲੋ ਮੁੱਖ ਸਮਝ: LLM ਸਧਾਰਨ ਕੁਐਰੀਆਂ ਵਿੱਚ ਚੰਗਾ ਹੈ, ਅਤੇ ਗੁੰਝਲਦਾਰ ਕੁਐਰੀਆਂ ਨੂੰ ਡੀਕੰਪੋਜ਼ ਕਰਨ ਤੋਂ ਬਾਅਦ ਪ੍ਰਦਰਸ਼ਨ ਵਿੱਚ 20%-33% ਸੁਧਾਰ ਹੁੰਦਾ ਹੈ।
ROG (2025) —— ਐਡਵਾਂਸਡ ਵਰਜ਼ਨ
LARK ਫਰੇਮਵਰਕ ਨੂੰ ਵਿਰਾਸਤ ਵਿੱਚ ਮਿਲਦਾ ਹੈ, ਇੱਕ ਨਵਾਂ ਏਜੰਟ ਸਹਿਮਤੀ ਵਿਧੀ ਜੋੜਦਾ ਹੈ:
ROG = LARK ਕੋਰ + ਮਲਟੀ-ਏਜੰਟ ਸਹਿਯੋਗ + ਵਿਚਾਰਾਂ ਦੀ ਚੇਨ ਮਜ਼ਬੂਤੀ
ਸੁਧਾਰਾਂ ਦਾ ਵੇਰਵਾ ਏਜੰਟ ਡਿਜ਼ਾਈਨ ਇੰਟੈਲੀਜੈਂਟ ਬਾਡੀ = ਗਿਆਨ ਅਧਾਰ + LLM, ਮਲਟੀ-ਏਜੰਟ ਸਹਿਮਤੀ ਫੈਸਲਾ CoT ਵਧੇਰੇ ਸਪੱਸ਼ਟ ਵਿਚਾਰਾਂ ਦੀ ਚੇਨ ਪ੍ਰੋਂਪਟ ਟੈਂਪਲੇਟ ਘਰੇਲੂ ਅਨੁਕੂਲਤਾ ChatGLM+Neo4j 'ਤੇ ਅਧਾਰਤ, ਪਾਵਰ ਵਰਗੇ ਲੰਬਕਾਰੀ ਖੇਤਰਾਂ ਲਈ
ROG ਦਾ ਡਾਟਾ ਫਲੋ ਮਾਡਲ
ਪ੍ਰਦਰਸ਼ਨ ਵਿੱਚ ਵੱਡਾ ਸੁਧਾਰ: FB15k 'ਤੇ, ip ਕੁਐਰੀ (ਇੰਟਰਸੈਕਸ਼ਨ ਤੋਂ ਬਾਅਦ ਪ੍ਰੋਜੈਕਸ਼ਨ) MRR 29.3→62.0 ਤੋਂ, 111% ਦਾ ਸੁਧਾਰ!
ਟੇਬਲ 1: FB15k ਡਾਟਾ ਸੈੱਟ MRR ਤੁਲਨਾ। ROG ਪੂਰੀ ਤਰ੍ਹਾਂ ਅੱਗੇ ਹੈ, ਅਤੇ ਮਿਸ਼ਰਤ ਕੁਐਰੀਆਂ ਵਿੱਚ ਸਭ ਤੋਂ ਮਹੱਤਵਪੂਰਨ ਸੁਧਾਰ ਹੈ।
ਤਿੰਨ, ਪੈਰਾਡਾਈਮ ਸਥਾਪਨਾ ਅਤੇ ਭਵਿੱਖ ਦੀ ਦਿਸ਼ਾ
ਦੋ ਪੀੜ੍ਹੀਆਂ ਦੇ ਪੇਪਰਾਂ ਨੇ ਸਾਂਝੇ ਤੌਰ 'ਤੇ ਇੱਕ ਪੈਰਾਡਾਈਮ ਦੀ ਪੁਸ਼ਟੀ ਕੀਤੀ:
"ਰੀਟਰੀਵਲ ਐਨਹਾਂਸਮੈਂਟ + ਕੁਐਰੀ ਡੀਕੰਪੋਜ਼ੀਸ਼ਨ + LLM ਤਰਕ" KG ਗੁੰਝਲਦਾਰ ਲਾਜ਼ੀਕਲ ਤਰਕ ਲਈ ਇੱਕ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਮਾਰਗ ਹੈ।
ਮੁੱਖ ਰੁਝਾਨ:
- ਐਬਸਟਰੈਕਸ਼ਨ ਬਹੁਤ ਮਹੱਤਵਪੂਰਨ ਹੈ —— ਸਿਮੈਂਟਿਕ ਸ਼ੋਰ ਨੂੰ ਦੂਰ ਕਰੋ ਅਤੇ ਲਾਜ਼ੀਕਲ ਢਾਂਚੇ 'ਤੇ ਧਿਆਨ ਕੇਂਦਰਿਤ ਕਰੋ
- ਡੀਕੰਪੋਜ਼ੀਸ਼ਨ ਰਣਨੀਤੀ ਉੱਪਰੀ ਸੀਮਾ ਨਿਰਧਾਰਤ ਕਰਦੀ ਹੈ —— ਚੇਨ ਡੀਕੰਪੋਜ਼ੀਸ਼ਨ ਐਂਡ-ਟੂ-ਐਂਡ ਨਾਲੋਂ ਵਧੇਰੇ ਭਰੋਸੇਮੰਦ ਹੈ
- ਮਾਡਲ ਸਮਰੱਥਾ ਲਗਾਤਾਰ ਜਾਰੀ ਕੀਤੀ ਜਾਂਦੀ ਹੈ —— Llama2-7B ਤੋਂ ChatGLM ਤੱਕ, ਬੇਸ ਵਿੱਚ ਸੁਧਾਰ ਮਹੱਤਵਪੂਰਨ ਲਾਭ ਲਿਆਉਂਦਾ ਹੈ
ROG ਦੀ ਏਜੰਟ ਵਿਧੀ ਵਿਆਖਿਆਯੋਗਤਾ ਨੂੰ ਵਧਾਉਂਦੀ ਹੈ, ਪਰ ਮੁੱਖ ਨਵੀਨਤਾ ਸਿਧਾਂਤਕ ਸਫਲਤਾ ਦੀ ਬਜਾਏ ਇੰਜੀਨੀਅਰਿੰਗ ਅਨੁਕੂਲਤਾ ਵਿੱਚ ਹੈ। ਭਵਿੱਖ ਦੀ ਦਿਸ਼ਾ ਇਹ ਹੋ ਸਕਦੀ ਹੈ: ਗਤੀਸ਼ੀਲ ਡੀਕੰਪੋਜ਼ੀਸ਼ਨ ਰਣਨੀਤੀ (ਕੁਐਰੀ ਗੁੰਝਲਤਾ ਲਈ ਸਵੈ-ਅਨੁਕੂਲ), ਮਲਟੀਮੋਡਲ KG ਫਿਊਜ਼ਨ, ਅਤੇ ਵੱਡੇ ਪੈਮਾਨੇ 'ਤੇ ਓਪਨ-ਡੋਮੇਨ ਵੈਰੀਫਿਕੇਸ਼ਨ।
