Неодамна, видов 2 добри трудови за LLM+KG за сложено логичко заклучување
Неодамна, видов 2 добри трудови за LLM+KG за сложено логичко заклучување
-
LARK https://arxiv.org/abs/2305.01157 Complex Logical Reasoning over Knowledge Graphs using Large Language Models
-
ROG https://arxiv.org/abs/2512.19092 A Large Language Model Based Method for Complex Logical Reasoning over Knowledge Graphs
I. Тешкотии при заклучувањето на графовите на знаење
Графовите на знаење (KG) како основен носител на структурирано знаење, се соочуваат со три главни проблеми:
- Комплексност: Комбинаторна експлозија на операции како заклучување со повеќе чекори, пресеци и унија, негации итн.
- Некомплетност: Реалните KG генерално имаат шум и недостатоци
- Генерализација: Традиционалните методи за вградување тешко се пренесуваат помеѓу множества на податоци
Традиционалните решенија (како Query2Box, BetaE) се потпираат на геометриски простор за вградување, моделирајќи ги логичките операции како векторски/кутиски операции, но губат многу информации при длабоко заклучување. Како да се направи моделот да ја разбере логичката структура и да може флексибилно да заклучува? Подемот на големите јазични модели (LLM) нуди нов начин на размислување.
Слика 1: Декомпозиција на синџирот на прашања на LARK и процес на заклучување на LLM. Комплексните прашања со повеќе операции се разложуваат на подпрашања со една операција, кои постепено се решаваат.
II. Решение: Наследување и еволуција на две генерации методи
LARK (2023) —— Пионерско дело
Слика 2: Стратегии за декомпозиција за 14 типа прашања. 3p се дели на 3 проекции, 3i се дели на 3 проекции + 1 пресек.
Клучна иновација: Апстракција на прашања + Декомпозиција на логички синџири
Компоненти Дизајн Апстракција на прашања Замена на ентитетите/врските со ID, елиминирање на халуцинации, подобрување на генерализацијата Пребарување на соседство k-hop пребарување во длабочина (k=3), екстракција на релевантни подграфови Декомпозиција на синџири Прашања со повеќе операции → Низа подпрашања со една операција Секвенцијално заклучување Кеширање на средни резултати, логички уредна замена на резервирани места Клучен увид: LLM се добри во едноставни прашања, сложените прашања имаат подобрување на перформансите од 20%-33% по декомпозицијата.
ROG (2025) —— Напредна верзија
Го наследува LARK рамката, додавајќи механизам за консензус на Agent:
ROG = LARK јадро + Соработка со повеќе Agent + Зајакнување на синџирот на мисли
Објаснување на подобрувањата
Дизајн на Agent
Интелигентен агент = База на знаење + LLM, одлучување за консензус со повеќе Agent
CoT зајакнување
Појасни шаблони за поттикнување на синџирот на мисли
Домашно прилагодување
Врз основа на ChatGLM+Neo4j, ориентиран кон вертикални области како електрична енергија
Модел на проток на податоци на ROG
Скок во перформансите: На FB15k, ip прашањето (проекција по пресек) MRR се зголемува од 29.3→62.0, што е зголемување од 111%!
Табела 1: Споредба на MRR на множеството податоци FB15k. ROG е целосно водечки, а подобрувањето е најзначајно за сложените прашања.
III. Воспоставување парадигма и идни насоки
Двете генерации трудови заеднички потврдуваат парадигма:
"Пребарување засилено + Декомпозиција на прашања + LLM заклучување" е ефикасен начин за KG сложено логичко заклучување.
Клучни трендови:
- Апстракцијата е клучна —— Отстранување на семантичкиот шум, фокусирање на логичката структура
- Стратегијата за декомпозиција ја одредува горната граница —— Декомпозицијата на синџири е посигурна од крај до крај
- Континуирано ослободување на способностите на моделот —— Од Llama2-7B до ChatGLM, напредокот на основната база носи значителни придобивки
Иако механизмот Agent на ROG ја подобрува објаснивоста, клучната иновација лежи во инженерската оптимизација, а не во теоретскиот пробив. Идните насоки може да бидат: динамички стратегии за декомпозиција (адаптивна сложеност на прашањата), фузија на мултимодални KG и верификација на отворено поле во поголем обем.
