Наскоро видях 2 добри статии за LLM+KG за сложно логическо разсъждение
Наскоро видях 2 добри статии за LLM+KG за сложно логическо разсъждение
-
LARK https://arxiv.org/abs/2305.01157 Complex Logical Reasoning over Knowledge Graphs using Large Language Models
-
ROG https://arxiv.org/abs/2512.19092 A Large Language Model Based Method for Complex Logical Reasoning over Knowledge Graphs
I. Трудности при разсъжденията с графи на знания
Графите на знания (KG) като основен носител на структурирани знания са изправени пред три основни проблема:
- Сложност: Комбинаторна експлозия на многостъпкови разсъждения, операции за пресичане и обединение, отрицание и др.
- Непълнота: KG в реалния свят обикновено имат шум и липси
- Обобщаване: Традиционните методи за вграждане трудно се прехвърлят между набори от данни
Традиционните решения (като Query2Box, BetaE) разчитат на геометрични пространства за вграждане, за да моделират логически операции като векторни/кутийни операции, но информацията се губи сериозно при дълбоки разсъждения. Как да накараме модела да разбира логическата структура и да разсъждава гъвкаво? Възходът на големите езикови модели (LLM) предлага нова идея.
Фигура 1: Разлагане на веригата на заявката и процес на разсъждение на LLM на LARK. Разлага сложни заявки с множество операции на подзаявки с единична операция и ги решава стъпка по стъпка.
II. Решение: Наследство и еволюция на две поколения методи
LARK (2023) —— Пионерска работа
Фигура 2: Стратегии за разлагане на 14 вида заявки. 3p се разлага на 3 проекции, а 3i се разлага на 3 проекции + 1 пресичане.
Основна иновация: Абстракция на заявки + Разлагане на логическа верига
Компонентен дизайн Абстракция на заявки Замяна на обекти/връзки с ID, елиминиране на халюцинации, подобряване на обобщаването Търсене в съседство k-hop търсене в дълбочина (k=3), извличане на свързани подграфи Верижно разлагане Заявки с множество операции → Последователност от подзаявки с единична операция Последователно разсъждение Кеширане на междинни резултати, логически подредено Замяна на заместители Ключово прозрение: LLM са добри в прости заявки, производителността се подобрява с 20%-33% след разлагане на сложни заявки.
ROG (2025) —— Разширена версия
Наследява рамката LARK, добавяйки механизъм за консенсус на Agent:
ROG = LARK ядро + Сътрудничество между множество агенти + Подсилване на веригата на мислите
Обяснение на подобренията
Дизайн на Agent
Интелигентен агент = База знания + LLM, вземане на решения за консенсус между множество агенти
CoT подобрение
По-ясни шаблони за подкани за верига на мислите
Вътрешна адаптация
Базиран на ChatGLM+Neo4j, ориентиран към вертикални области като електроенергия
Модел на поток от данни на ROG
Скок в производителността: На FB15k, ip заявката (проекция след пресичане) MRR се увеличава от 29.3→62.0, увеличение от 111%!
Таблица 1: Сравнение на MRR на набора от данни FB15k. ROG е водещ във всички отношения, като най-значително е подобрението при сложните заявки.
III. Установяване на парадигма и бъдещи насоки
Двете поколения статии заедно потвърждават парадигма:
"Разширено извличане + Разлагане на заявки + LLM разсъждения" е ефективен път за сложно логическо разсъждение на KG.
Ключови тенденции:
- Абстракцията е от решаващо значение —— Премахване на семантичния шум, фокусиране върху логическата структура
- Стратегията за разлагане определя горната граница —— Верижното разлагане е по-надеждно от директното
- Възможностите на модела продължават да се освобождават —— От Llama2-7B до ChatGLM, напредъкът в базовата станция носи значителни ползи
Механизмът Agent на ROG подобрява обяснимостта, но основната иновация е в инженерната оптимизация, а не в теоретичния пробив. Бъдещите насоки може да са в: динамични стратегии за разлагане (адаптиране към сложността на заявките), сливане на мултимодални KG и по-мащабно валидиране в отворена област.
