기반에서 부상하기: 실제 호출을 가상 궤적으로 파생시켜 도구 사용 에이전트의 의도 일탈 해결

Emerging from Ground: Addressing Intent Deviation in Tool-Using Agents via Deriving Real Calls into Virtual Trajectories

대규모 언어 모델(LLM)은 실제 애플리케이션을 위한 도구 사용 에이전트를 발전시켰지만, 이러한 에이전트는 종종 예상치 못한 행동이나 결과를 초래합니다. 명백한 실패 외에도, '의도 일탈(intent deviation)'이라는 미묘한 문제는 신뢰할 수 있는 평가와 성능 향상을 심각하게 저해합니다. 기존의 사후 학습(post-training) 방법들은 일반적으로 실제 시스템 샘플이나 LLM이 시뮬레이션한 가상 데이터를 활용합니다. 그러나 전자는 수작업으로 작성된 사용자 요청에 의존하기 때문에 비용이 많이 들고, 후자는 실제 환경의 도구와 분포 변화(distribution shift) 문제를 겪습니다. 또한 두 방법 모두 의도 일탈 시나리오에 특화된 부정 샘플(negative samples)이 부족하여 선호도 학습에 효과적인 지침을 제공하지 못합니다. 본 연구에서는 의도 일탈을 완화하기 위해 설계된 'Real-to-Virtual' 방법인 RISE를 소개합니다. RISE는 검증된 도구 프리미티브(primitives)를 기반으로 가상 궤적을 합성하고, 핵심 매개변수의 변이를 통해 다양한 부정 샘플을 생성합니다. RISE는 합성 데이터를 사용하여 의도 정렬(intent alignment)을 위한 2단계 훈련을 통해 백본 LLM을 미세 조정합니다. 평가 결과, RISE로 합성된 데이터는 사용자 요구 사항, 실행 궤적 및 에이전트 응답을 포괄하는 8가지 지표에서 우수한 결과를 달성했습니다. 훈련과 통합되었을 때, RISE는 Acctask(작업 완료)에서 평균 35.28%, Accintent(의도 정렬)에서 23.27%의 성능 향상을 기록하며, 최신(SOTA) 기준 모델들을 각각 1.20~42.09% 및 1.17~54.93% 차이로 능가했습니다.

LLMs have advanced tool-using agents for real-world applications, yet they often lead to unexpected behaviors or results. Beyond obvious failures, the subtle issue of "intent deviation" severely hinders reliable evaluation and performance improvement. Existing post-training methods generally leverage either real system samples or virtual data simulated by LLMs. However, the former is costly due to reliance on hand-crafted user requests, while the latter suffers from distribution shift from the real tools in the wild. Additionally, both methods lack negative samples tailored to intent deviation scenarios, hindering effective guidance on preference learning. We introduce RISE, a "Real-to-Virtual" method designed to mitigate intent deviation. Anchoring on verified tool primitives, RISE synthesizes virtual trajectories and generates diverse negative samples through mutation on critical parameters. With synthetic data, RISE fine-tunes backbone LLMs via the two-stage training for intent alignment. Evaluation results demonstrate that data synthesized by RISE achieve promising results in eight metrics covering user requires, execution trajectories and agent responses. Integrating with training, RISE achieves an average 35.28% improvement in Acctask (task completion) and 23.27% in Accintent (intent alignment), outperforming SOTA baselines by 1.20--42.09% and 1.17--54.93% respectively.