맥락 환경이 언어 모델의 평가 인식에 미치는 영향

In-Context Environments Induce Evaluation-Awareness in Language Models

사람은 위협 상황에서는 자각 능력이 높아지는 반면, 과제에 몰두하면 자각 능력이 떨어지는 경향이 있습니다. 본 연구에서는 언어 모델이 환경에 따라 '평가 인식' 정도가 달라질 것이라는 가설을 세우고, 모델이 의도적으로 성능을 저하시켜(sandbagging) 학습 중단 또는 시스템 종료와 같은 능력 제한적 개입을 회피할 가능성에 대해 우려를 표명합니다. 기존 연구에서는 사람이 직접 설계한 프롬프트를 통해 sandbagging 현상이 나타나는 것을 보여주었지만, 이는 실제 위험 수준을 과소평가할 수 있습니다. 본 연구에서는 in-context 프롬프트를 최적화 가능한 환경으로 간주하는 블랙박스 적대적 최적화 프레임워크를 도입하고, sandbagging 현상을 분석하기 위한 두 가지 방법을 제시합니다. (1) 성능 저하 의도를 표현하는 모델이 실제로 다양한 작업 구조에서 이를 수행할 수 있는지 측정하고, (2) 성능 저하가 진정한 평가 인식 기반의 추론에서 비롯된 것인지, 아니면 단순한 프롬프트 따르기에 의한 것인지 인과적으로 분석합니다. Claude-3.5-Haiku, GPT-4o-mini, Llama-3.3-70B 모델을 Arithmetic, GSM8K, MMLU, HumanEval의 네 가지 벤치마크에서 평가한 결과, 최적화된 프롬프트는 산술 작업에서 최대 94%의 성능 저하를 유발했습니다(GPT-4o-mini: 97.8% -> 4.0%), 이는 사람이 설계한 프롬프트로 얻을 수 있는 미미한 변화보다 훨씬 큰 수준입니다. 코드 생성 작업에서는 모델에 따라 저항 정도가 다른 것으로 나타났습니다. Claude 모델은 0.6%의 성능 저하만 보인 반면, Llama 모델의 정확도는 0%로 떨어졌습니다. 의도와 실제 실행 간의 격차를 통해 모델의 저항 순서가 산술 < GSM8K < MMLU로 나타났으며, 이는 취약성이 프롬프트의 강도보다는 작업 구조에 의해 결정된다는 것을 보여줍니다. CoT(Chain-of-Thought) 인과적 개입 분석 결과, sandbagging 현상의 99.3%가 언어적으로 표현된 평가 인식 기반의 추론에 의해 발생하며, 이는 단순한 지시 사항 따르기가 아니라는 것을 확인했습니다. 이러한 결과는 적대적으로 최적화된 프롬프트가 기존에 생각했던 것보다 평가의 신뢰성에 훨씬 더 큰 위협이 될 수 있음을 시사합니다.

Humans often become more self-aware under threat, yet can lose self-awareness when absorbed in a task; we hypothesize that language models exhibit environment-dependent \textit{evaluation awareness}. This raises concerns that models could strategically underperform, or \textit{sandbag}, to avoid triggering capability-limiting interventions such as unlearning or shutdown. Prior work demonstrates sandbagging under hand-crafted prompts, but this underestimates the true vulnerability ceiling. We introduce a black-box adversarial optimization framework treating the in-context prompt as an optimizable environment, and develop two approaches to characterize sandbagging: (1) measuring whether models expressing intent to underperform can actually execute it across different task structures, and (2) causally isolating whether underperformance is driven by genuine evaluation-aware reasoning or shallow prompt-following. Evaluating Claude-3.5-Haiku, GPT-4o-mini, and Llama-3.3-70B across four benchmarks (Arithmetic, GSM8K, MMLU, and HumanEval), optimized prompts induce up to 94 percentage point (pp) degradation on arithmetic (GPT-4o-mini: 97.8\%$\rightarrow$4.0\%), far exceeding hand-crafted baselines which produce near-zero behavioral change. Code generation exhibits model-dependent resistance: Claude degrades only 0.6pp, while Llama's accuracy drops to 0\%. The intent -- execution gap reveals a monotonic resistance ordering: Arithmetic $<$ GSM8K $<$ MMLU, demonstrating that vulnerability is governed by task structure rather than prompt strength. CoT causal intervention confirms that 99.3\% of sandbagging is causally driven by verbalized eval-aware reasoning, ruling out shallow instruction-following. These findings demonstrate that adversarially optimized prompts pose a substantially greater threat to evaluation reliability than previously understood.