LLM 올림피아드: 모델 평가가 '봉인된 시험'을 필요로 하는 이유

LLM Olympiad: Why Model Evaluation Needs a Sealed Exam

벤치마크와 순위표는 자연어 처리 분야에서 주로 발전 상황을 보여주는 지표로 사용되지만, LLM 시대에 접어들면서 이러한 지표들이 오해를 불러일으키기 쉬워지고 있습니다. 점수는 단순히 광범위한 능력을 반영하는 것이 아니라, 벤치마크에 맞춰 성능을 최적화하거나, 숨겨진 평가 기준, 또는 시험 내용에 대한 의도치 않은 노출 등을 반영할 수 있습니다. 폐쇄형 벤치마크는 이러한 문제점을 일부 완화하지만, 투명성을 저해하고 커뮤니티가 결과를 통해 학습하는 것을 어렵게 만듭니다. 우리는 '올림피아드' 스타일의 평가 방식을 제안합니다. 이 방식은 문제 내용을 평가 시점까지 봉인하고, 제출물을 미리 고정하며, 모든 응시 결과물을 표준화된 환경에서 실행합니다. 평가 후, 전체 문제 세트와 평가 코드를 공개하여 결과의 재현성과 감사를 가능하게 합니다. 이러한 설계는 뛰어난 성능을 '인위적으로' 만들어내는 것을 어렵게 하고, 결과에 대한 신뢰도를 높이는 것을 목표로 합니다.

Benchmarks and leaderboards are how NLP most often communicates progress, but in the LLM era they are increasingly easy to misread. Scores can reflect benchmark-chasing, hidden evaluation choices, or accidental exposure to test content -- not just broad capability. Closed benchmarks delay some of these issues, but reduce transparency and make it harder for the community to learn from results. We argue for a complementary practice: an Olympiad-style evaluation event where problems are sealed until evaluation, submissions are frozen in advance, and all entries run through one standardized harness. After scoring, the full task set and evaluation code are released so results can be reproduced and audited. This design aims to make strong performance harder to ``manufacture'' and easier to trust.