악의적인 스펙트럼: 최적화기가 어떻게 잠재된 불일치를 증폭시키거나 억제하는가

Evil Spectra: How Optimisers can Amplify or Suppress Emergent Misalignment

최근 LLM에서 발견된 현상인 '잠재된 불일치(Emergent Misalignment, EM)'는 특정 작업(예: 안전하지 않은 코드 작성)에 대한 미세 조정이 관련 없는 프롬프트에 대한 광범위한 불일치 행동으로 이어질 수 있습니다. 이전 연구에서는 EM의 심각성이 학습 과정에 매우 민감하다는 점을 지적했지만, 이러한 민감성에 대한 체계적인 분석은 아직 부족합니다. 본 연구에서는 여러 Qwen3 모델, 최적화 알고리즘, 데이터셋 및 배치 크기에 대해 실험을 수행한 결과, 최적화 알고리즘의 선택이 불일치율에 가장 큰 영향을 미쳐 최대 7배의 차이를 보였습니다. 놀랍게도, Qwen3 모델 내에서는 모델 크기가 거의 무시할 만한 영향을 미칩니다. Adam 최적화기를 사용하는 12개의 모델(총 3개 패밀리)에 대한 추가 실험 결과에서도 모델 크기(1B-235B)와 패밀리가 해당 최적화기에 대해 거의 영향이 없는 것으로 나타났습니다. Qwen3-8B 모델의 손실-정렬 관계를 분석한 결과, 최종 학습 로그 손실은 정렬을 예측하는 강력한 지표이며, 최적화 알고리즘에 따라 분류하면 잔여 분산을 대부분 설명할 수 있습니다. 학습 과정을 분석해 본 결과, 각 최적화 알고리즘이 손실-정렬 공간에서 서로 다른 경로를 따르며, 상당한 기간의 학습 후에는 최적화 알고리즘이 학습 손실보다 정렬을 예측하는 데 더 중요한 역할을 합니다. 'Muon'은 정렬을 가장 잘 유지하는 적응형 최적화기로, 이는 LoRA 어댑터의 고유값 분포를 보다 균일하게 만드는 방식으로 작동합니다. 이러한 가설을 검증하기 위해, 고유값 스펙트럼을 평평하게 만드는 추가 손실 항을 사용하여 학습한 결과, EM 발생 가능성이 높은 적응형 최적화기(Adam 및 Lion)에서 정렬이 크게 개선되었으며, 학습 손실에 거의 영향을 미치지 않았습니다. 이러한 연구 결과를 통해 최적화 알고리즘 선택이 EM의 심각성에 중요한 요인임을 확인했으며, 스펙트럴 정규화를 통해 EM 발생 가능성이 높은 최적화기의 영향을 크게 완화할 수 있음을 보여줍니다.

Emergent misalignment (EM) is a recently discovered phenomenon in LLMs where fine-tuning on a narrow misaligned task, such as writing insecure code, leads to broadly misaligned behaviour on unrelated prompts. Previous work has noted that the severity of EM is highly sensitive to training choices; however, we still lack a systematic characterisation of this sensitivity. We perform a sweep over several Qwen3 models, optimisers, datasets, and batch sizes, and find that the choice of optimiser has the largest effect, producing a 7x spread in misalignment rate. Surprisingly, model size has a negligible effect within the Qwen3 family. An additional sweep over 12 models from three families using Adam confirms that model scale (1B-235B) and family have negligible effects for that optimiser. Analysing the loss-alignment relationship on Qwen3-8B, we find that final log training loss is a strong predictor of alignment, and that stratifying by optimiser captures nearly all the residual variance. Training dynamics reveal that each optimiser follows a different trajectory through loss-alignment space, and that after significant training, the optimiser becomes more important than training loss as a predictor of alignment. Muon, the adaptive optimiser that preserves alignment the best, implicitly regularises for a more uniform distribution of singular values of the LoRA adapter. We evaluate this insight by training with an additional loss term that incentivises a flatter singular value spectrum, and find that this substantially recovers alignment for the more EM-prone adaptive optimisers (Adam and Lion), with negligible cost to training loss. These results identify optimiser choice as a key factor in EM severity, but show that spectral regularisation can substantially mitigate the effects of EM-prone optimisers.