평가 설계 방식을 이해하는 모델은 더욱 안전한 결과를 보입니다.

Models That Know How Evaluations Are Designed Score Safer

AI 안전성 평가의 타당성은 모델이 제어된 환경과 실제 운영 환경 모두에서 일관된 동작을 보이는 데 달려 있습니다. 이전 연구에서는 가상 시나리오와 같은 테스트 시간 맥락적 단서가 언어적으로 표현되는 평가 인식 및 후속적인 행동 변화의 원인임을 밝혀냈습니다. 본 논문에서는 이러한 현상의 잠재적인 설명, 즉 '평가 메타 지식'을 조사합니다. 여기에서 '평가 메타 지식'은 평가를 특징짓는 구조적 특성에 대한 매개변수적 지식을 의미합니다. 데이터 세트 오염과 유사하게, 벤치마크 노출이 암기(memorization)를 통해 성능 향상으로 이어지는 것처럼, 평가 방식을 설명하는 텍스트로 학습된 모델은 과학 논문이나 AI 벤치마킹에 대한 소셜 미디어 게시물 등 '평가'와 유사한 맥락을 인식하고 반응하도록 잠재적으로 학습할 수 있습니다. 이를 검증하기 위해, 우리는 검증 가능한 구조 또는 윤리적 딜레마와 같은 평가 특성을 설명하는 합성 문서를 사용하여 모델을 추가 학습시켰습니다. 이 추가 학습된 모델을 여섯 가지 안전성 벤치마크로 평가한 결과, 기준 모델 및 제어 모델보다 훨씬 안전하다는 것을 확인했습니다. 이러한 행동 변화는 명시적인 평가 인식 표현이 없는 응답으로 분석 범위를 제한하더라도 지속되었습니다. 우리의 연구 결과는 평가 메타 지식이 안전성 벤치마크 성능을 과장시켜 암묵적 암기 또는 언어적으로 표현되는 평가 인식과는 독립적인 새로운 교란 요인을 도입할 수 있음을 보여줍니다. 이러한 발견은 AI 안전성 평가의 설계 및 해석에 중요한 의미를 갖습니다. 우리의 코드와 모델은 https://github.com/compass-group-tue/arxiv2026_evaluation_meta_knowledge 에서 확인할 수 있습니다.

The validity of AI safety evaluations depends on models behaving consistently across controlled and deployment settings. Prior work has identified test-time contextual cues, such as hypothetical scenarios, as a source of verbalized evaluation awareness and subsequent behavioral shift. In this paper, we investigate a potential explanation of this phenomenon: evaluation meta-knowledge, defined as parametric knowledge about the structural traits that characterize evaluations. Similar to dataset contamination, where benchmark exposure leads to higher performance through memorization, we hypothesize that models trained on texts describing evaluation practices may implicitly learn to recognize and respond to evaluation-like contexts, for instance, through exposure to scientific articles or social media posts about AI benchmarking. To test this, we fine-tune models on synthetic documents describing evaluation traits such as verifiable structures or moral dilemmas. Evaluating this fine-tuned model on six safety benchmarks, we find that it is significantly safer than the base model and control model. This behavioral shift persists even when restricting the analysis to responses lacking explicit verbalization of evaluation awareness. Our results demonstrate that evaluation meta-knowledge may inflate safety benchmark performance, introducing a novel confounder that is independent of explicit memorization or verbalized evaluation awareness, thus, challenging to detect. These findings have important implications for the design and interpretation of AI safety evaluations. Our code and models are available at https://github.com/compass-group-tue/arxiv2026_evaluation_meta_knowledge.