소음 속에 묻히다: 문맥적 방해물로 인해 추론 모델이 실패하는 원인

Lost in the Noise: How Reasoning Models Fail with Contextual Distractors

최근 추론 모델과 에이전트 AI 시스템의 발전으로 다양한 외부 정보에 대한 의존도가 높아졌습니다. 그러나 이러한 변화는 본질적으로 노이즈가 많은 입력 문맥을 가져오는데, 이는 현재의 정제된 벤치마크가 반영하지 못하는 현실입니다. 우리는 RAG, 추론, 정렬(alignment) 및 도구 사용 작업의 11개 데이터셋에 걸쳐 무작위 문서, 관련 없는 채팅 기록, 까다로운 부정적 방해물(hard negative distractors) 등 다양한 노이즈 유형에 대해 모델의 견고성을 체계적으로 평가하는 포괄적인 벤치마크인 NoisyBench를 소개합니다. 평가 결과, 최신 모델들이 문맥적 방해물에 직면했을 때 성능이 최대 80%까지 치명적으로 하락하는 것으로 나타났습니다. 결정적으로, 에이전트 워크플로우는 노이즈가 섞인 도구 출력을 과도하게 신뢰하여 이러한 오류를 증폭시키는 경우가 많으며, 방해물은 적대적인 의도 없이도 창발적인 정렬 불일치를 유발할 수 있음을 발견했습니다. 또한 프롬프팅, 문맥 엔지니어링, SFT, 결과 보상 기반 RL은 견고성을 보장하지 못하는 반면, 제안된 '근거 인식 보상(RARE)'은 노이즈 속에서 유용한 정보를 식별하도록 장려하여 회복탄력성을 크게 강화한다는 사실을 확인했습니다. 마지막으로, 노이즈가 많은 환경에서는 테스트 시간 연산량이 증가할수록 성능이 저하되는 역 스케일링 경향을 밝혀내고, 어텐션 시각화를 통해 모델이 방해물 토큰에 불균형적으로 집중한다는 점을 입증하여 차세대 견고한 추론형 에이전트 구축을 위한 핵심적인 통찰력을 제공합니다.

Recent advances in reasoning models and agentic AI systems have led to an increased reliance on diverse external information. However, this shift introduces input contexts that are inherently noisy, a reality that current sanitized benchmarks fail to capture. We introduce NoisyBench, a comprehensive benchmark that systematically evaluates model robustness across 11 datasets in RAG, reasoning, alignment, and tool-use tasks against diverse noise types, including random documents, irrelevant chat histories, and hard negative distractors. Our evaluation reveals a catastrophic performance drop of up to 80% in state-of-the-art models when faced with contextual distractors. Crucially, we find that agentic workflows often amplify these errors by over-trusting noisy tool outputs, and distractors can trigger emergent misalignment even without adversarial intent. We find that prompting, context engineering, SFT, and outcome-reward only RL fail to ensure robustness; in contrast, our proposed Rationale-Aware Reward (RARE) significantly strengthens resilience by incentivizing the identification of helpful information within noise. Finally, we uncover an inverse scaling trend where increased test-time computation leads to worse performance in noisy settings and demonstrate via attention visualization that models disproportionately focus on distractor tokens, providing vital insights for building the next generation of robust, reasoning-capable agents.