판도라: 코드 기반 지식 전송을 활용한 통합 구조화된 지식 추론

Pandora: Leveraging Code-driven Knowledge Transfer for Unified Structured Knowledge Reasoning

통합 구조화된 지식 추론(USKR)은 테이블, 데이터베이스 및 지식 그래프와 같은 구조화된 소스를 통합적으로 사용하여 자연어 질문에 답하는 것을 목표로 합니다. 기존의 USKR 방법들은 작업별 전략이나 맞춤형 표현에 의존하며, 이는 서로 다른 지식 추론 작업 간의 장벽을 허물지 못하게 하여 전체적인 성능을 제한합니다. 본 논문에서는 이러한 기존 방법들의 한계를 극복하기 위해 두 가지 주요 혁신을 활용하는 새로운 USKR 프레임워크인 '판도라(Pandora)'를 소개합니다. 첫째, LLM의 사전 학습과 원활하게 연계되는 코드 기반의 통합 지식 표현 방식을 제안하며, 이는 Python의 Pandas API를 사용합니다. 이 표현 방식은 다양한 구조화된 지식 소스를 일관성 있게 처리할 수 있도록 합니다. 둘째, 자동으로 작업 간 메모리를 구축하여 LLM의 통합 추론 과정을 강화하기 위해 지식 전송을 활용합니다. '판도라'는 코드 실행으로부터 얻은 피드백을 통해 추론을 적응적으로 수정함으로써 뛰어난 통합 추론 능력을 보여줍니다. 세 가지 지식 추론 작업에 걸쳐 널리 사용되는 여섯 개의 벤치마크에서 수행된 광범위한 실험 결과, '판도라'는 기존의 통합 추론 프레임워크보다 우수한 성능을 보이며, 특정 작업에 특화된 방법들과도 효과적으로 경쟁할 수 있음을 입증했습니다.

Unified Structured Knowledge Reasoning (USKR) aims to answer natural language questions by using structured sources such as tables, databases, and knowledge graphs in a unified way. Existing USKR methods rely on task-specific strategies or bespoke representations, which hinder their ability to dismantle barriers between different SKR tasks, thereby constraining their overall performance in cross-task scenarios. In this paper, we introduce \textsc{Pandora}, a novel USKR framework that addresses the limitations of existing methods by leveraging two key innovations. First, we propose a code-based unified knowledge representation using \textsc{Python}'s \textsc{Pandas} API, which aligns seamlessly with the pre-training of LLMs. This representation facilitates a cohesive approach to handling different structured knowledge sources. Building on this foundation, we employ knowledge transfer to bolster the unified reasoning process of LLMs by automatically building cross-task memory. By adaptively correcting reasoning using feedback from code execution, \textsc{Pandora} showcases impressive unified reasoning capabilities. Extensive experiments on six widely used benchmarks across three SKR tasks demonstrate that \textsc{Pandora} outperforms existing unified reasoning frameworks and competes effectively with task-specific methods.