잡음 환경에서의 학습: 노이즈 환경을 통한 에이전트의 견고성 향상

Learning to Act under Noise: Enhancing Agent Robustness via Noisy Environments

최근 대규모 언어 모델(LLM)의 발전은 추론, 계획 및 도구 사용 능력을 갖춘 LLM 기반 에이전트의 광범위한 활용을 가능하게 했습니다. 기존 벤치마크에서는 뛰어난 성능을 보이지만, 이러한 에이전트는 실제 환경에 배포될 때 상당한 성능 저하를 보이는 경우가 많습니다. 이는 이상적인 학습 환경과 실제 상호 작용 역학 간의 근본적인 불일치에서 비롯된 것으로, 현재의 패러다임은 신중하게 구성된 작업 지침과 안정적이고 잘 통제된 환경에 의존합니다. 이러한 격차를 해소하기 위해, 우리는 환경의 불완전성을 에이전트 학습 과정에 명시적으로 통합하는 에이전트 훈련 프레임워크인 NoisyAgent를 제안합니다. 실제 시나리오에서 발생하는 상호 작용 잡음의 주요 원인은 두 가지입니다. 첫째는 사용자 상호 작용의 모호성과 변동성을 포착하는 '사용자 잡음'이고, 둘째는 도구 실행의 오류 및 이상 현상을 반영하는 '도구 잡음'입니다. 우리는 훈련 파이프라인에 이러한 잡음을 도입하여 사용자 상호 작용 패턴을 수정하고 훈련 환경 내에서 도구 실행 결과를 시뮬레이션합니다. 에이전트가 점진적으로 어려운 불완전성을 처리하도록 장려하면서 훈련의 안정성을 유지하기 위해, 잡음은 일부 롤아웃에만 적용되며 모델이 현재 잡음 수준에 적응함에 따라 난이도가 점진적으로 증가합니다. 광범위한 실험 결과, 제안하는 방법이 노이즈가 많고 역동적인 환경에서 에이전트의 견고성을 지속적으로 향상시키는 것으로 나타났습니다. 분석 결과, 잡음 조건 하에서의 훈련은 이상적인 벤치마크에서도 성능 향상을 가져왔으며, 이는 환경 잡음에 대한 통제된 노출이 더욱 일반화된 추론 및 의사 결정 행동을 촉진한다는 것을 시사합니다. 우리의 연구 결과는 에이전트 훈련과 실제 배포 간의 격차를 해소하기 위해 상호 작용 불완전성을 모델링하는 것의 중요성을 강조합니다.

Recent advances in large language models (LLMs) have facilitated the widespread deployment of LLMs as interactive agents capable of reasoning, planning, and tool use. Despite strong performance on existing benchmarks, such agents often exhibit notable degradation when deployed in real-world settings, where environments are inherently stochastic and imperfect. We argue that this discrepancy arises from a fundamental mismatch between idealized training settings and real-world interaction dynamics, where current paradigms rely on carefully curated task instructions and stable, well-controlled environments. To address this gap, we propose NoisyAgent, an agentic training framework that explicitly incorporates environmental imperfections into the agent learning process. We identify two major sources of interaction noise in real-world scenarios: user noise, which captures ambiguity and variability in user interaction, and tool noise, which reflects failures and anomalies in tool execution. We introduce such perturbations into the training pipeline by modifying user interaction patterns and simulating tool execution results within the training environment. To stabilize training while encouraging agents to handle increasingly challenging imperfections, noise is applied to only a subset of rollouts and progressively increased in difficulty as the model adapts to the current noise level. Extensive experiments demonstrate that our approach consistently improves agent robustness under noisy and dynamic environments. Our analysis reveals that training under noise conditions also yields performance gains on idealized benchmarks, suggesting that controlled exposure to environmental noise promotes more generalizable reasoning and decision-making behaviors. Our findings highlight the importance of modeling interaction imperfections for bridging the gap between agent training and real-world deployment.