AIMO 해석 가능성 챌린지

AIMO Interpretability Challenge

본 논문에서는 AIMO 해석 가능성 챌린지를 제안합니다. 이는 최첨단 수학 언어 모델의 내부 메커니즘을 기반으로, 견고한 추론과 허위 추론을 구별하는 대회입니다. 본 챌린지는 기존 추론 벤치마크의 핵심적인 한계에서 비롯되었습니다. 즉, 높은 최종 답변 정확도가 모델이 안정적인 추론 메커니즘에 의존하는지 아니면 취약한 추론 지름길을 사용하는지를 밝혀주지 못한다는 점입니다. AI 수학 올림피아드(AIMO) 문제와 제출물, 그리고 Fields Model Initiative의 자료를 바탕으로, 본 대회는 (1) 새로 출판된 올림피아드 수준의 수학 문제 및 그 상징적 표현을 제공하여 새로운 기능 변형을 생성할 수 있도록 하고, (2) 최첨단 추론 모델에 대한 접근성을 제공하며, (3) 이러한 문제에 대한 모델의 적대적인 견고성(adversarial robustness)을 평가합니다. 참가자들은 이러한 자료와 더불어 저희가 제공하는 컴퓨팅 인프라 지원을 활용하여, 어떤 모델이 문제를 안정적으로 해결하는지 식별하는 방법을 개발할 것입니다. 본 대회는 또한 새로운 공개형 견고성 벤치마크 및 기준 시스템을 구축하여, 수학적 추론 및 해석 가능성에 대한 표준 벤치마킹의 지속 가능한 기반을 제공하는 것을 목표로 합니다. 과학적인 관점에서 볼 때, 본 대회는 해석 가능성과 일반화 연구를 연결하며, 인공지능 연구의 핵심 질문인 '최첨단 AI 모델의 의사 결정이 얼마나 일반화 가능하고, 따라서 신뢰할 수 있는가?'에 대한 답을 찾는 데 기여하고자 합니다.

We propose the AIMO Interpretability Challenge, a competition on distinguishing robust from spurious reasoning in frontier mathematical language models based on the models' internal mechanisms. The challenge is motivated by a central limitation of standard reasoning benchmarks: strong final-answer accuracy does not reveal whether a model relies on stable reasoning mechanisms or exploits brittle reasoning shortcuts. Building on AI Mathematical Olympiad (AIMO) problems and submissions, together with resources from the Fields Model Initiative, the competition will provide (1) newly-published olympiad-level math reasoning problems and their symbolic representations, allowing generation of novel functional variants, (2) access to frontier reasoning models, and (3) assessments of models' adversarial robustness on these problems. Participants will use these resources, along with our computing infrastructure support, to develop methods for identifying which models solve problems robustly. Our competition will also create a new, open robustness benchmark and baseline systems, aiming to provide a lasting foundation for standard benchmarking in mathematical reasoning and interpretability. Scientifically, the competition connects interpretability and generalization research around a central question in AI research: can we determine if, and to what extent, the decision-making of frontier AI models is generalizable and thus, reliable?