전문가 추론 요청: 학습 기반 협업적 개입을 통해 LLM 에이전트 강화

Requesting Expert Reasoning: Augmenting LLM Agents with Learned Collaborative Intervention

대규모 언어 모델(LLM) 기반 에이전트는 일반적인 추론 능력에서는 뛰어난 성능을 보이지만, 훈련 데이터에 포함되지 않은 장기적인 지식이 필요한 전문 분야에서는 종종 실패합니다. 인간 전문가가 이러한 지식 격차를 메울 수 있지만, 그들의 지침은 종종 체계적이지 않고 신뢰성이 낮아 에이전트의 계획에 직접 통합하기 어렵습니다. 이러한 문제를 해결하기 위해, 우리는 필요에 따라 인간-AI 협업을 가능하게 하는 프레임워크인 AHCE(Active Human-Augmented Challenge Engagement)를 소개합니다. 핵심적으로, 인간 피드백 모듈(HFM)은 학습된 정책을 사용하여 인간 전문가를 상호 작용적인 추론 도구로 활용합니다. 마인크래프트 환경에서의 광범위한 실험 결과, AHCE는 일반 난이도 작업에서 성공률을 32% 향상시키고, 매우 어려운 작업에서는 거의 70%까지 향상시키는 효과를 보였으며, 이는 최소한의 인간 개입으로 달성되었습니다. 본 연구는 에이전트를 성공적으로 강화하기 위해서는 단순히 도움을 요청하는 것 이상으로, 전문가의 추론을 어떻게 요청할 것인지 학습하는 것이 중요하다는 것을 보여줍니다.

Large Language Model (LLM) based agents excel at general reasoning but often fail in specialized domains where success hinges on long-tail knowledge absent from their training data. While human experts can provide this missing knowledge, their guidance is often unstructured and unreliable, making its direct integration into an agent's plan problematic. To address this, we introduce AHCE (Active Human-Augmented Challenge Engagement), a framework for on-demand Human-AI collaboration. At its core, the Human Feedback Module (HFM) employs a learned policy to treat the human expert as an interactive reasoning tool. Extensive experiments in Minecraft demonstrate the framework's effectiveness, increasing task success rates by 32% on normal difficulty tasks and nearly 70% on highly difficult tasks, all with minimal human intervention. Our work demonstrates that successfully augmenting agents requires learning how to request expert reasoning, moving beyond simple requests for help.