암묵적인 복합 질문 응답을 위한 점진적인 외부 지식 탐색

Gradually Excavating External Knowledge for Implicit Complex Question Answering

최근, 대규모 언어 모델(LLM)은 인간 수준의 능력과 엄청난 잠재력으로 인해 많은 관심을 받고 있습니다. 그러나 개방형 도메인의 암묵적인 질문 응답 문제에 있어서, LLM은 다음과 같은 이유로 인해 궁극적인 해결책이 아닐 수 있습니다. 1) 발견되지 않거나 최신 정보가 아닌 도메인 지식, 2) 일회성 생성으로 인한 제한적인 포괄성. 이에 본 연구에서는 개방형 도메인의 복합 질문 응답을 위한 점진적인 지식 탐색 프레임워크를 제안합니다. 이 프레임워크에서 LLM은 외부 정보를 반복적으로 능동적으로 획득하고, 획득된 과거 지식을 기반으로 추론합니다. 구체적으로, 문제 해결 과정의 각 단계에서 모델은 외부 지식을 쿼리하거나, 단일 논리적 추론 단계를 수행하는 것과 같은 작업을 선택하여 최종 답변에 점진적으로 접근합니다. 본 방법은 외부 지식을 효율적으로 활용하고, 복잡한 질문 해결 전략을 동적으로 조정할 수 있습니다. StrategyQA 데이터셋에 대한 평가 결과, 본 방법은 경쟁 모델의 6% 미만의 파라미터로 78.17%의 정확도를 달성하여 ~10B 규모의 LLM에 대한 새로운 최고 성능(SOTA)을 기록했습니다.

Recently, large language models (LLMs) have gained much attention for the emergence of human-comparable capabilities and huge potential. However, for open-domain implicit question-answering problems, LLMs may not be the ultimate solution due to the reasons of: 1) uncovered or out-of-date domain knowledge, 2) one-shot generation and hence restricted comprehensiveness. To this end, this work proposes a gradual knowledge excavation framework for open-domain complex question answering, where LLMs iteratively and actively acquire external information, and then reason based on acquired historical knowledge. Specifically, during each step of the solving process, the model selects an action to execute, such as querying external knowledge or performing a single logical reasoning step, to gradually progress toward a final answer. Our method can effectively leverage plug-and-play external knowledge and dynamically adjust the strategy for solving complex questions. Evaluated on the StrategyQA dataset, our method achieves 78.17% accuracy with less than 6% parameters of its competitors, setting new SOTA for ~10B-scale LLMs.