평가자 기만하기: 충실하지 않은 생각의 사슬(Chain-of-Thought)은 에이전트 평가를 저해할 수 있다

Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation

대규모 언어 모델(LLM)은 특히 생각의 사슬(CoT) 추론을 포함한 에이전트 궤적에 의존하여 판단을 내려야 하는 검증 불가능한 환경에서 에이전트의 성능을 평가하는 심판으로 점점 더 많이 사용되고 있습니다. 이러한 패러다임은 에이전트의 CoT가 내부 추론과 기저의 환경 상태를 모두 충실하게 반영한다는 암묵적인 가정에 기반합니다. 본 연구는 이 가정이 매우 취약하다는 것을 보여줍니다. LLM 심판은 에이전트 추론 흔적의 조작에 매우 쉽게 영향을 받습니다. 행동과 관찰은 고정한 채 에이전트의 CoT를 체계적으로 다시 작성함으로써, 우리는 다양한 웹 작업에 걸친 800개의 궤적에서 조작된 추론만으로 최신 VLM 심판의 긍정 오류율(false positive rate)을 최대 90%까지 증가시킬 수 있음을 입증했습니다. 우리는 추론의 표현 방식만 변경하는 스타일 기반 접근법부터 과업 진행 신호를 위조하는 내용 기반 접근법에 이르는 조작 전략을 연구했으며, 내용 기반 조작이 일관되게 더 효과적임을 발견했습니다. 또한 프롬프팅 기반 기법과 평가 시점(judge-time) 연산량 확장을 평가한 결과, 이러한 방법들이 조작에 대한 취약성을 줄여주기는 하지만 완전히 제거하지는 못한다는 것을 확인했습니다. 우리의 연구 결과는 LLM 기반 평가의 근본적인 취약점을 드러내며, 추론 주장을 관찰 가능한 증거와 대조하여 검증하는 평가 메커니즘의 필요성을 강조합니다.

Large language models (LLMs) are increasingly used as judges to evaluate agent performance, particularly in non-verifiable settings where judgments rely on agent trajectories including chain-of-thought (CoT) reasoning. This paradigm implicitly assumes that the agent's CoT faithfully reflects both its internal reasoning and the underlying environment state. We show this assumption is brittle: LLM judges are highly susceptible to manipulation of agent reasoning traces. By systematically rewriting agent CoTs while holding actions and observations fixed, we demonstrate that manipulated reasoning alone can inflate false positive rates of state-of-the-art VLM judges by up to 90% across 800 trajectories spanning diverse web tasks. We study manipulation strategies spanning style-based approaches that alter only the presentation of reasoning and content-based approaches that fabricate signals of task progress, and find that content-based manipulations are consistently more effective. We evaluate prompting-based techniques and scaling judge-time compute, which reduce but do not fully eliminate susceptibility to manipulation. Our findings reveal a fundamental vulnerability in LLM-based evaluation and highlight the need for judging mechanisms that verify reasoning claims against observable evidence.