Neseniai mačiau 2 puikius LLM+KG straipsnius apie sudėtingą loginį samprotavimą
Neseniai mačiau 2 puikius LLM+KG straipsnius apie sudėtingą loginį samprotavimą
-
LARK https://arxiv.org/abs/2305.01157 Complex Logical Reasoning over Knowledge Graphs using Large Language Models
-
ROG https://arxiv.org/abs/2512.19092 A Large Language Model Based Method for Complex Logical Reasoning over Knowledge Graphs
I. Žinių grafų samprotavimo sunkumai
Žinių grafai (KG), kaip pagrindinė struktūrizuotų žinių laikmena, susiduria su trimis pagrindinėmis problemomis:
- Sudėtingumas: daugiapakopis samprotavimas, sankirtos ir sąjungos, neigimo ir kitų operacijų kombinacinis sprogimas
- Nepilnumas: triukšmas ir trūkumai yra paplitę realiame pasaulyje KG
- Apibendrinamumas: tradiciniai įterpimo metodai sunkiai perkeliami tarp duomenų rinkinių
Tradiciniai sprendimai (pvz., Query2Box, BetaE) priklauso nuo geometrinės įterpimo erdvės, modeliuojant logines operacijas kaip vektorių/dėžių operacijas, tačiau gilaus samprotavimo metu informacija prarandama. Kaip priversti modelį suprasti loginę struktūrą ir lanksčiai samprotauti? Didelių kalbos modelių (LLM) atsiradimas pasiūlė naują idėją.
1 pav.: LARK užklausų grandinės skaidymas ir LLM samprotavimo procesas. Sudėtingos daugiapakopės užklausos suskaidomos į vienos operacijos antrines užklausas, sprendžiant jas palaipsniui.
II. Sprendimas: dviejų kartų metodų paveldėjimas ir evoliucija
LARK (2023) – novatoriškas darbas
2 pav.: 14 užklausų tipų skaidymo strategijos. 3p suskaidomas į 3 projekcijas, 3i suskaidomas į 3 projekcijas + 1 sankirtą.
Pagrindinė naujovė: užklausos abstrakcija + loginės grandinės skaidymas
Komponentų dizainas Užklausos abstrakcija Subjektai/ryšiai pakeičiami ID, pašalinant haliucinacijas ir pagerinant apibendrinimą Kaimynystės paieška K-hop gylio pirmumo paieška (k=3), ištraukiant susijusius pografius Grandinės skaidymas Daugiapakopės užklausos → vienos operacijos antrinių užklausų seka Nuoseklus samprotavimas Talpinant tarpinius rezultatus, logiškai tvarkingai pakeičiant vietos rezervavimo ženklus Pagyvenimas LLM gerai atlieka paprastas užklausas, sudėtingų užklausų našumas pagerėja 20–33 % po suskaidymo.
ROG (2025) – patobulinta versija
Paveldi LARK sistemą, pridedant Agentų konsensuso mechanizmą:
ROG = LARK branduolys + kelių agentų bendradarbiavimas + mąstymo grandinės stiprinimas
Patobulinimų paaiškinimas
Agentų dizainas
Intelektas = žinių bazė + LLM, kelių agentų konsensuso sprendimų priėmimas
CoT patobulinimas
Aiškesni mąstymo grandinės raginimo šablonai
Vietinis pritaikymas
Remiantis ChatGLM+Neo4j, skirtas vertikalioms sritims, tokioms kaip elektra
ROG duomenų srauto modelis
Našumo šuolis: FB15k, ip užklausa (projekcija po sankirtos) MRR nuo 29,3 → 62,0, 111 % pagerėjimas!
1 lentelė: FB15k duomenų rinkinio MRR palyginimas. ROG pirmauja visose srityse, o sudėtinių užklausų pagerėjimas yra reikšmingiausias.
III. Paradigmos nustatymas ir ateities kryptys
Dvi kartos straipsnių kartu patvirtino paradigmą:
"Paieškos patobulinimas + užklausos skaidymas + LLM samprotavimas" yra veiksmingas KG sudėtingo loginio samprotavimo kelias.
Pagyvenimai:
- Abstrahavimas yra labai svarbus – pašalinant semantinį triukšmą, sutelkiant dėmesį į loginę struktūrą
- Skaidymo strategija lemia viršutinę ribą – grandinės skaidymas yra patikimesnis nei galas į galą
- Modelio galimybės nuolat atlaisvinamos – nuo Llama2-7B iki ChatGLM, bazės pažanga duoda didelę naudą
ROG agentų mechanizmas sustiprina paaiškinamumą, tačiau pagrindinė naujovė yra inžinerinis optimizavimas, o ne teorinis proveržis. Ateities kryptys gali būti: dinaminės skaidymo strategijos (prisitaikantis prie užklausos sudėtingumo), daugiarūšis KG susiejimas ir didesnio masto atviro domeno patvirtinimas.
