역사가 거짓말을 할 때: 오해를 불러일으키는 다중 대화 기록 하에서 도구 사용 능력 평가 및 개선

When History Lies: Evaluating and Improving Tool Use under Misleading Multi-Turn Histories

도구 호출 에이전트는 누적된 대화와 도구 사용 기록으로부터 작업 상태를 추론합니다. 하지만 지속적인 상호 작용 과정에서, 과거의 기록은 현재 요청에 더 이상 적용되지 않더라도 구조적으로 유효하고 의미상으로 타당해 보일 수 있습니다. 본 연구에서는 이러한 과거 기록이 모델이 이미 보유한 정책을 왜곡할 수 있음을 보여줍니다. Qwen3-1.7B 모델에서, 오염된(polluted) 과거 기록은 원래 경로 하에서 올바른 결정의 32.1%에 해당하는 판단을 바꾸고, 손상된 개체 또는 인터페이스 규칙의 재사용을 자주 유발합니다. 본 연구에서는 'bench'라는 페어링된 벤치마크를 제안합니다. 이 벤치마크는 시스템 정책, 현재 도구, 최신 요청, 그리고 정답(gold) 다음 행동 정보를 유지하면서 원본(Original), 오염된(Polluted), 그리고 Oracle 상태의 관점을 동기화하여 제공합니다. 열 가지 이상의 정책 보존 개입 방법을 통해 의사 결정 상태, 개체 연결, 인터페이스 실행 과정에서의 오류를 분석했습니다. 또한, 'ours'라는 새로운 방법을 제안합니다. 이 방법은 Oracle 조건에 의해 학습된 교사 정책을, 오염된 과거 기록만 관찰하는 학생 모델에게 소프트 지도(soft supervision) 방식으로 전달합니다. Qwen3-1.7B 모델에서, 'ours'는 87.0%의 균형 잡힌 도구 사용 정확도를 달성하여 Gold-SFT (66.3%), Oracle 시퀀스 증류 (82.3%), 그리고 오프라인 토큰 증류 (85.0%)를 능가합니다. 이 방법은 확장성이 뛰어납니다. 8B 교사 모델은 동일한 크기의 1.7B 학생 모델의 성능을 91.9%로 향상시키고, 8B 학생 모델은 93.0%의 성능을 달성합니다. 결과적으로 얻어진 정책은 깨끗한 과거 기록, 새로운 기능, 독립적으로 생성된 평가 컨텍스트, 외부 도구 사용 벤치마크, 그리고 노이즈가 포함된 다중 단계 질의 응답 문제에서도 활용될 수 있습니다. 이러한 결과는 과거 기록의 신뢰성을 별도의 도구 사용 성능 저하 요인으로 규정하고, 신뢰할 수 있는 상태 기반 정책 전달을 효과적이고 확장 가능한 해결책으로 제시합니다.

Tool-calling agents infer task state from accumulated dialogue and tool traces. In persistent interactions, however, historical traces may remain structurally valid and semantically plausible after they cease to be authoritative for the current request. We show that such history can hijack a policy the model already possesses: on Qwen3-1.7B, pollution flips 32.1% of decisions that are correct under the original trajectory and frequently induces reuse of corrupted entities or interface conventions. We introduce bench, a paired benchmark with synchronized Original, Polluted, and Oracle State views that preserve the system policy, current tools, latest request, and gold next action. Eleven gold-preserving interventions isolate failures in decision state, entity binding, and interface execution across complete calls and non-call decisions. We further propose ours, which transfers an Oracle-conditioned teacher policy to a student observing only polluted history through soft supervision on student-generated prefixes. On Qwen3-1.7B, ours achieves 87.0% Balanced Tool-Use Accuracy, outperforming Gold-SFT (66.3%), Oracle sequence distillation (82.3%), and off-policy token distillation (85.0%). The method scales consistently: an 8B teacher raises the same compact 1.7B student to 91.9%, while an 8B student reaches 93.0%. The resulting policies further transfer to clean histories, unseen functions, independently regenerated evaluation contexts, external tool-use benchmarks, and noisy multi-hop question answering. These results establish history reliability as a distinct tool-use bottleneck and demonstrate reliable-state policy transfer as an effective and scalable solution.