배포 시뮬레이션을 통한 LLM 안전성 예측: 출시 전 위험 평가

Predicting LLM Safety Before Release by Simulating Deployment

사전 배포 안전성 평가는 새로운 AI 모델의 출시로 인해 발생할 수 있는 잠재적인 위험을 파악하는 데 중요한 역할을 합니다. 그러나 대부분의 평가는 실제 배포 환경에서 원치 않는 모델 동작이 얼마나 자주 발생할지에 대한 제한적인 증거를 제공합니다. 이러한 평가들은 일반적으로 충분한 범위를 포괄하지 못하고, 대표성을 가지지 않으며, 테스트로 쉽게 식별될 수 있습니다. 이러한 문제점을 해결하기 위해, 우리는 간단한 모델 배포 시뮬레이션 방법을 연구했습니다. 이전 모델 배포에서 얻은 익명화된 대화 데이터를 기반으로 초기 대화 내용을 고정하고, 후보 모델을 사용하여 다음 응답을 생성합니다. 이렇게 생성된 응답들은 새로운 유형의 오작동 여부를 검토하는 데 사용될 수 있으며, 배포 전에 모델 오작동 발생률을 추정하는 데에도 활용할 수 있습니다. 우리는 GPT-5 시리즈의 네 가지 배포 환경에서 이 시뮬레이션을 평가했으며, GPT-5.4에 대한 등록되고 결과가 가려진 예측과 이전 세 버전의 회고 분석을 수행했습니다. 그 결과, 배포 시뮬레이션은 실제 배포 후 발생하는 오작동률에 대한 유용한 추정치를 제공하며, 적대적으로 선택된 실제 데이터 기반의 기존 평가 방법보다 우수한 성능을 보였습니다. 또한, 시뮬레이션 결과를 통해 얻은 예측값은 기존 평가 방식에서 얻은 값보다 실제 사용 환경에서의 트래픽과 더 유사했습니다. 우리는 또한 도구 재샘플링의 현실성이 예측 정확도를 향상시키는 데 있어 중요한 과제임을 확인했으며, 복잡한 도구 사용 환경에서도 이 문제를 해결할 수 있는 가능성을 보여주는 결과를 제시합니다. 마지막으로, 배포 시뮬레이션은 공개 채팅 데이터셋을 사용하여 시작될 수 있으며, 실제 배포 환경에서의 오작동률에 대한 유용한 정보를 제공하여, 비공개 로그에 접근하지 않고도 외부 연구자들이 배포 기반의 평가를 수행할 수 있는 방법을 제시합니다. 전반적으로, 배포 시뮬레이션은 평가자들이 언어 모델이 실제 세계에서 어떻게 작동할지 예측하고, 배포 위험을 보다 정량적으로 평가하는 데 도움을 줍니다.

Pre-deployment safety evaluations aim to inform the downstream risks of releasing a new AI model. Yet most evaluations provide limited evidence about how often undesired model behavior will occur in deployment: they generally have insufficient coverage, are unrepresentative, and are generally recognizable as tests. To address these concerns, we study a simple way to simulate a model deployment: starting from de-identified conversations from a previous model deployment, we hold fixed the initial conversation prefix and regenerate the next response using a candidate model. The resulting responses can then both be audited for novel misalignments and used to estimate the prevalence of model misbehavior before deployment. We evaluate deployment simulation across four GPT-5-series deployments, using registered, outcome-blinded predictions for GPT-5.4 and retrospective analyses of three earlier releases. We find that deployment simulation produces informative estimates of post-deployment misbehavior rates and outperforms baselines based on adversarially selected production data; its evaluation-awareness point estimates were also much closer to production traffic than those from traditional evaluations. We also identify the realism of tool resampling as a central challenge for further improving predictions and share results suggesting that this challenge is surmountable even in complex tool-use settings. Finally, we show that deployment simulation can be seeded from public chat datasets and remain informative about production misbehavior rates, suggesting a path for external researchers to run deployment-grounded evaluations without access to private production logs. Overall, deployment simulation helps evaluators forecast how language models will behave in the real world and supports more quantitative assessment of deployment risk.