તાજેતરમાં, LLM+KG સાથે જટિલ તર્ક અનુમાન પર 2 સારા પેપર જોવા મળ્યા
તાજેતરમાં, LLM+KG સાથે જટિલ તર્ક અનુમાન પર 2 સારા પેપર જોવા મળ્યા
-
LARK https://arxiv.org/abs/2305.01157 Complex Logical Reasoning over Knowledge Graphs using Large Language Models
-
ROG https://arxiv.org/abs/2512.19092 A Large Language Model Based Method for Complex Logical Reasoning over Knowledge Graphs
એક, નોલેજ ગ્રાફ અનુમાનની મુશ્કેલીઓ
નોલેજ ગ્રાફ (KG) એક સ્ટ્રક્ચર્ડ નોલેજના મુખ્ય કેરિયર તરીકે, ત્રણ મુખ્ય પીડા પોઇન્ટનો સામનો કરે છે:
- જટિલતા: મલ્ટી-હોપ અનુમાન, આંતરછેદ અને યુનિયન, નકારાત્મક કામગીરી વગેરેનું સંયોજન વિસ્ફોટ
- અપૂર્ણતા: વાસ્તવિક દુનિયાના KGમાં સામાન્ય રીતે અવાજ અને અભાવ હોય છે
- સામાન્યીકરણ: પરંપરાગત એમ્બેડિંગ પદ્ધતિઓ ડેટાસેટ્સમાં સ્થાનાંતરિત કરવી મુશ્કેલ છે
પરંપરાગત ઉકેલો (જેમ કે Query2Box, BetaE) ભૌમિતિક એમ્બેડિંગ જગ્યા પર આધાર રાખે છે, અને તાર્કિક કામગીરીને વેક્ટર/બોક્સ કામગીરી તરીકે મોડેલ કરે છે, પરંતુ ઊંડા અનુમાન દરમિયાન માહિતીનું ગંભીર નુકસાન થાય છે. મોડેલને તાર્કિક માળખું કેવી રીતે સમજાવવું અને લવચીક રીતે અનુમાન કેવી રીતે કરવું? મોટા ભાષા મોડેલ (LLM)નો ઉદય એક નવો વિચાર પ્રદાન કરે છે.
આકૃતિ 1: LARKની ક્વેરી ચેઇન વિઘટન અને LLM અનુમાન પ્રક્રિયા. જટિલ બહુ-ઓપરેશન ક્વેરીને સિંગલ-ઓપરેશન સબક્વેરીમાં વિઘટન કરો અને ધીમે ધીમે ઉકેલો.
બે, ઉકેલ: બે પેઢીની પદ્ધતિઓનો વારસો અને ઉત્ક્રાંતિ
LARK (2023) - એક અગ્રણી કાર્ય
આકૃતિ 2: 14 પ્રકારની ક્વેરી માટે વિઘટન વ્યૂહરચના. 3pને 3 પ્રોજેક્શનમાં વિભાજિત કરવામાં આવે છે, અને 3iને 3 પ્રોજેક્શન + 1 આંતરછેદમાં વિભાજિત કરવામાં આવે છે.
મુખ્ય નવીનતા: ક્વેરી એબ્સ્ટ્રેક્શન + લોજિકલ ચેઇન વિઘટન
ઘટક ડિઝાઇન ક્વેરી એબ્સ્ટ્રેક્શન એન્ટિટી/સંબંધને ID સાથે બદલો, આભાસ દૂર કરો અને સામાન્યીકરણમાં સુધારો કરો પડોશી પુનઃપ્રાપ્તિ k-હોપ ડેપ્થ-ફર્સ્ટ ટ્રેવર્સલ (k=3), સંબંધિત સબગ્રાફ કાઢો સાંકળ વિઘટન બહુ-ઓપરેશન ક્વેરી → સિંગલ-ઓપરેશન સબક્વેરી ક્રમ ક્રમિક અનુમાન કેશ મધ્યવર્તી પરિણામો, તાર્કિક ક્રમમાં પ્લેસહોલ્ડર્સ બદલો મુખ્ય સમજ: LLM સરળ ક્વેરીમાં સારી છે, અને જટિલ ક્વેરીને વિઘટન કર્યા પછી કામગીરીમાં 20%-33%નો સુધારો થાય છે.
ROG (2025) - અદ્યતન સંસ્કરણ
LARK ફ્રેમવર્ક વારસામાં મેળવે છે, અને એક નવી એજન્ટ સર્વસંમતિ મિકેનિઝમ ઉમેરે છે:
ROG = LARK કોર + મલ્ટી-એજન્ટ સહયોગ + વિચારની સાંકળ મજબૂતીકરણ
સુધારણા સમજૂતી એજન્ટ ડિઝાઇન બુદ્ધિશાળી એજન્ટ = નોલેજ બેઝ + LLM, મલ્ટી-એજન્ટ સર્વસંમતિ નિર્ણય CoT ઉન્નત વધુ સ્પષ્ટ વિચાર સાંકળ પ્રોમ્પ્ટ ટેમ્પલેટ સ્થાનિક અનુકૂલન ChatGLM+Neo4j પર આધારિત, પાવર અને અન્ય વર્ટિકલ ક્ષેત્રો માટે
ROGનો ડેટા ફ્લો મોડેલ
કામગીરીમાં મોટી છલાંગ: FB15k પર, ip ક્વેરી (આંતરછેદ પછી પ્રોજેક્શન) MRR 29.3→62.0 થી વધીને 111% થઈ!
કોષ્ટક 1: FB15k ડેટાસેટ MRR સરખામણી. ROG સંપૂર્ણપણે અગ્રેસર છે, અને સંયોજન ક્વેરીમાં સૌથી નોંધપાત્ર સુધારો થયો છે.
ત્રણ, દાખલાની સ્થાપના અને ભવિષ્યની દિશા
બે પેઢીના પેપર્સે સંયુક્ત રીતે એક દાખલાની ચકાસણી કરી:
"પુનઃપ્રાપ્તિ ઉન્નત + ક્વેરી વિઘટન + LLM અનુમાન" એ KG જટિલ તર્ક અનુમાન માટે અસરકારક માર્ગ છે.
મુખ્ય વલણો:
- અમૂર્તતા મહત્વપૂર્ણ છે - સિમેન્ટીક અવાજને દૂર કરો અને તાર્કિક માળખા પર ધ્યાન કેન્દ્રિત કરો
- વિઘટન વ્યૂહરચના ઉપલી મર્યાદા નક્કી કરે છે - સાંકળ વિઘટન એન્ડ-ટુ-એન્ડ કરતાં વધુ વિશ્વસનીય છે
- મોડેલ ક્ષમતા સતત બહાર પાડવામાં આવે છે - Llama2-7B થી ChatGLM સુધી, બેઝ મોડેલમાં સુધારાઓ નોંધપાત્ર લાભો લાવે છે
ROGની એજન્ટ મિકેનિઝમ સમજૂતીમાં વધારો કરે છે, પરંતુ મુખ્ય નવીનતા એ સૈદ્ધાંતિક સફળતાને બદલે એન્જિનિયરિંગ ઓપ્ટિમાઇઝેશન છે. ભવિષ્યની દિશા આમાં હોઈ શકે છે: ગતિશીલ વિઘટન વ્યૂહરચના (ક્વેરી જટિલતાને અનુરૂપ), મલ્ટીમોડલ KG ફ્યુઝન અને મોટા પાયે ઓપન-ડોમેન ચકાસણી.
