최근, LLM+KG를 이용한 복잡한 논리 추론에 관한 훌륭한 논문 2편을 보았습니다.

최근, LLM+KG를 이용한 복잡한 논리 추론에 관한 훌륭한 논문 2편을 보았습니다.

1. LARK https://arxiv.org/abs/2305.01157 Complex Logical Reasoning over Knowledge Graphs using Large Language Models

2. ROG https://arxiv.org/abs/2512.19092 A Large Language Model Based Method for Complex Logical Reasoning over Knowledge Graphs

1. 지식 그래프 추론의 어려움

지식 그래프(KG)는 구조화된 지식의 핵심적인 매개체로서, 다음과 같은 세 가지 주요 문제점에 직면해 있습니다.

• 복잡성: 다중 홉 추론, 교집합 및 합집합, 부정 등의 연산 조합 폭발
• 불완전성: 실제 세계의 KG에는 일반적으로 노이즈와 결손이 존재함
• 일반화 가능성: 기존의 임베딩 방법으로는 데이터 세트 간의 마이그레이션이 어려움

기존의 솔루션(예: Query2Box, BetaE)은 기하 임베딩 공간에 의존하여 논리 연산을 벡터/박스 연산으로 모델링하지만, 심층 추론 시 정보 손실이 심각합니다. 모델이 논리 구조를 이해하면서도 유연하게 추론할 수 있도록 하려면 어떻게 해야 할까요? 대규모 언어 모델(LLM)의 부상은 새로운 아이디어를 제공합니다.

그림 1: LARK의 쿼리 체인 분해 및 LLM 추론 프로세스. 복잡한 다중 연산 쿼리를 단일 연산 하위 쿼리로 분해하여 점진적으로 해결합니다.

2. 솔루션: 두 세대 방법의 계승과 진화

LARK (2023) —— 선구적인 작품

그림 2: 14가지 쿼리 유형의 분해 전략. 3p는 3개의 투영으로 분해하고, 3i는 3개의 투영 + 1개의 교집합으로 분해합니다.

핵심 혁신: 쿼리 추상화 + 논리 체인 분해

컴포넌트 설계 쿼리 추상화 엔터티/관계 ID로 대체, 환각 제거, 일반화 개선 인접 영역 검색 k-hop 깊이 우선 탐색(k=3), 관련 하위 그래프 추출 체인 분해 다중 연산 쿼리 → 단일 연산 하위 쿼리 시퀀스 순차적 추론 중간 결과 캐싱, 논리적 순서로 자리 표시자 대체 핵심 통찰력: LLM은 간단한 쿼리에 능숙하며, 복잡한 쿼리를 분해하면 성능이 20%-33% 향상됩니다.

ROG (2025) —— 고급 버전

LARK 프레임워크를 계승하고, Agent 합의 메커니즘을 추가했습니다.

ROG = LARK 핵심 + 다중 Agent 협업 + 사고 체인 강화

개선 사항 설명 Agent 설계 지능형 에이전트 = 지식 베이스 + LLM, 다중 Agent 합의 의사 결정 CoT 강화 더 명확한 사고 체인 프롬프트 템플릿 국산 적응 ChatGLM+Neo4j 기반, 전력 등 수직적 영역 대상 ROG의 데이터 흐름 모델

성능 도약: FB15k에서 ip 쿼리(교집합 후 투영) MRR이 29.3→62.0으로 111% 향상되었습니다!

표 1: FB15k 데이터 세트 MRR 비교. ROG가 전반적으로 우수하며, 복합 쿼리에서 가장 큰 향상을 보입니다.

3. 패러다임 확립 및 미래 방향

두 세대의 논문은 다음과 같은 패러다임을 공동으로 검증했습니다.

"검색 강화 + 쿼리 분해 + LLM 추론"은 KG 복잡한 논리 추론의 효과적인 경로입니다.

주요 트렌드:

• 추상화가 매우 중요함 —— 의미론적 노이즈를 제거하고 논리 구조에 집중
• 분해 전략이 상한선을 결정함 —— 체인 분해가 엔드 투 엔드보다 더 안정적임
• 모델 능력이 지속적으로 해방됨 —— Llama2-7B에서 ChatGLM으로, 기반 모델의 발전이 상당한 이점을 가져옴

ROG의 Agent 메커니즘은 설명 가능성을 향상시키지만, 핵심 혁신은 이론적 돌파구보다는 엔지니어링 최적화에 있습니다. 미래 방향은 동적 분해 전략(적응형 쿼리 복잡성), 다중 모달 KG 융합 및 더 큰 규모의 개방형 영역 검증에 있을 수 있습니다.