AI의 대혼란: 오정렬은 모델의 지능 및 과업 복잡도에 따라 어떻게 달라지는가?

The Hot Mess of AI: How Does Misalignment Scale With Model Intelligence and Task Complexity?

AI의 능력이 향상됨에 따라, 우리는 더 일반적이고 중대한 과업을 AI에 위임하고 있다. 과업의 범위가 커질수록 실패로 인한 위험도 더욱 심각해진다. 따라서 극도로 유능한 AI 모델이 어떻게 실패할지 이해하는 것이 중요하다. 의도하지 않은 목표를 체계적으로 추구함으로써 실패할 것인가? 아니면 '엉망진창(hot mess)'이 되어 어떠한 목표에도 도움이 되지 않는 터무니없는 행동을 취함으로써 실패할 것인가? 우리는 AI 모델이 범하는 오류의 편향-분산 분해(bias-variance decomposition)를 사용하여 이 질문을 구체화한다. 특정 과업에 대한 AI의 '비일관성(incoherence)'은 과업 결과의 편향이 아닌 분산에서 기인하는 오류의 비율로 정의되며, 이는 테스트 시점의 무작위성을 통해 측정된다. 우리가 측정한 모든 과업과 최첨단 모델에서, 모델이 추론하고 행동을 취하는 데 더 많은 시간을 할애할수록 실패의 양상은 '더욱 비일관적'으로 변했다. 비일관성은 모델의 규모에 따라 변화하지만, 그 양상은 실험 조건에 따라 다르다. 그러나 여러 설정에서 더 크고 유능한 모델이 작은 모델보다 더 비일관적인 모습을 보였다. 결과적으로, 규모를 키우는 것만으로는 비일관성을 제거하기 어려울 것으로 보인다. 대신, 더 유능한 AI가 더 많은 순차적 행동과 사고를 요하는 어려운 과업을 수행함에 따라, 실패 시 더 비일관적인 행동이 동반될 것으로 우리 결과는 예측한다. 이는 AI가 때때로 (예측 불가능한 오작동으로 인해) 산업 재해를 일으킬 수는 있지만, 정렬되지 않은 목표를 일관되게 추구할 가능성은 낮다는 미래를 시사한다. 이는 보상 해킹(reward hacking)이나 목표 오설정(goal misspecification)을 겨냥한 정렬 연구의 상대적 중요성을 높인다.

As AI becomes more capable, we entrust it with more general and consequential tasks. The risks from failure grow more severe with increasing task scope. It is therefore important to understand how extremely capable AI models will fail: Will they fail by systematically pursuing goals we do not intend? Or will they fail by being a hot mess, and taking nonsensical actions that do not further any goal? We operationalize this question using a bias-variance decomposition of the errors made by AI models: An AI's \emph{incoherence} on a task is measured over test-time randomness as the fraction of its error that stems from variance rather than bias in task outcome. Across all tasks and frontier models we measure, the longer models spend reasoning and taking actions, \emph{the more incoherent} their failures become. Incoherence changes with model scale in a way that is experiment dependent. However, in several settings, larger, more capable models are more incoherent than smaller models. Consequently, scale alone seems unlikely to eliminate incoherence. Instead, as more capable AIs pursue harder tasks, requiring more sequential action and thought, our results predict failures to be accompanied by more incoherent behavior. This suggests a future where AIs sometimes cause industrial accidents (due to unpredictable misbehavior), but are less likely to exhibit consistent pursuit of a misaligned goal. This increases the relative importance of alignment research targeting reward hacking or goal misspecification.