ReIn: 추론 인셉션을 활용한 대화형 오류 복구

ReIn: Conversational Error Recovery with Reasoning Inception

도구 통합 기능을 갖춘 대규모 언어 모델(LLM) 기반의 대화형 에이전트는 고정된 목적 지향 대화 데이터셋에서 강력한 성능을 달성하지만, 예상치 못한 사용자 유발 오류에는 여전히 취약하다. 본 연구는 오류 예방에 중점을 두기보다는 오류 복구에 초점을 맞추며, 이를 위해서는 잘못된 대화 문맥을 정확히 진단하고 적절한 복구 계획을 실행해야 한다. 막대한 비용과 시간 요구로 인해 모델 미세 조정이나 프롬프트 수정이 불가능한 현실적인 제약 하에서, 우리는 에이전트가 문맥상 결함이 있는 상호작용에서 복구할 수 있는지, 그리고 모델 파라미터나 프롬프트를 변경하지 않고도 그 행동을 어떻게 조정할 수 있는지 탐구한다. 이를 위해 우리는 에이전트의 의사결정 과정에 초기 추론을 심어주는 테스트 타임 개입 방법인 추론 인셉션(Reasoning Inception, ReIn)을 제안한다. 구체적으로, 외부 인셉션 모듈은 대화 문맥 내에서 사전 정의된 오류를 식별하고 복구 계획을 생성하며, 이는 이후 파라미터나 시스템 프롬프트를 수정하지 않고도 교정 조치를 유도하기 위해 에이전트의 내부 추론 과정에 통합된다. 우리는 사용자의 목표 달성을 직접적으로 방해하는 대화 실패 시나리오(사용자의 모호하거나 지원되지 않는 요청)를 체계적으로 시뮬레이션하여 ReIn을 평가한다. 다양한 에이전트 모델과 인셉션 모듈의 조합에 걸쳐, ReIn은 작업 성공률을 크게 향상시키며 처음 접하는 오류 유형에 대해서도 일반화된다. 더욱이, 이 방법은 명시적인 프롬프트 수정 접근 방식을 일관되게 능가하여, 효율적이고 즉각적인(on-the-fly) 방법으로서의 유용성을 강조한다. 특히 지시 계층 구조와 관련된 작동 메커니즘에 대한 심층 분석은, ReIn과 복구 도구를 함께 정의하는 것이 백본 모델이나 시스템 프롬프트를 수정하지 않고도 대화형 에이전트의 복원력을 향상시키는 안전하고 효과적인 전략이 될 수 있음을 시사한다.

Conversational agents powered by large language models (LLMs) with tool integration achieve strong performance on fixed task-oriented dialogue datasets but remain vulnerable to unanticipated, user-induced errors. Rather than focusing on error prevention, this work focuses on error recovery, which necessitates the accurate diagnosis of erroneous dialogue contexts and execution of proper recovery plans. Under realistic constraints precluding model fine-tuning or prompt modification due to significant cost and time requirements, we explore whether agents can recover from contextually flawed interactions and how their behavior can be adapted without altering model parameters and prompts. To this end, we propose Reasoning Inception (ReIn), a test-time intervention method that plants an initial reasoning into the agent's decision-making process. Specifically, an external inception module identifies predefined errors within the dialogue context and generates recovery plans, which are subsequently integrated into the agent's internal reasoning process to guide corrective actions, without modifying its parameters or system prompts. We evaluate ReIn by systematically simulating conversational failure scenarios that directly hinder successful completion of user goals: user's ambiguous and unsupported requests. Across diverse combinations of agent models and inception modules, ReIn substantially improves task success and generalizes to unseen error types. Moreover, it consistently outperforms explicit prompt-modification approaches, underscoring its utility as an efficient, on-the-fly method. In-depth analysis of its operational mechanism, particularly in relation to instruction hierarchy, indicates that jointly defining recovery tools with ReIn can serve as a safe and effective strategy for improving the resilience of conversational agents without modifying the backbone models or system prompts.