예방 어댑터: 더 적은 수의 예상치 못한 부작용을 동반한 능력의 향상된 선택적 일반화

Inoculation Adapters: Improved Selective Generalization of Capabilities with Fewer Surprising Backdoors

예방 프롬프팅은 인공지능 모델의 잠재적인 문제점을 해결하기 위한 선택적 일반화 기술입니다. 본 연구에서는 예방 어댑터(Inoculation Adapter, IA)를 소개하며, 이는 학습 과정에서 특정 특성을 강화함으로써 원치 않는 특성 학습에 대한 최적화 압력을 줄이는 방식과 유사합니다. 예방 어댑터는 다음과 같은 세 단계로 훈련 및 사용되는 LoRA입니다. 1) 원치 않는 특성에 대한 훈련; 2) 다른 작업 어댑터를 훈련하는 동안 동결 상태 유지 (데이터에는 원하는 특성과 원치 않는 특성이 모두 포함됨); 3) 배포 시, IA는 제거되고 작업 어댑터만 사용됩니다. 본 연구에서는 여섯 가지 모델 패밀리와 다양한 원치 않는 특성(예: 인공지능 모델의 잠재적인 문제점)에 대해 예방 어댑터가 이러한 특성을 억제하는 데 더 효과적임을 확인했습니다. 또한, 예방 어댑터는 프롬프팅 방식의 두 가지 단점을 피합니다. 즉, 예방 어댑터는 프롬프트로 안정적으로 유도하기 어려운 능력과 특성을 억제할 수 있으며, 프로빙 결과에서 볼 때 프롬프팅보다 더 적은 수의 예상치 못한 부작용을 발생시킵니다. 원치 않는 특성은 예방 어댑터를 통해 더 잘 억제될 수 있지만, 원하는 특성의 유지율은 예방 프롬프팅을 통해 일관되게 향상되지 않으며, 이는 두 기술 모두에게 여전히 과제로 남아 있습니다.

Inoculation prompting is a selective generalization technique used against Emergent Misalignment. We introduce inoculation adapters (IA), which similarly diminish the optimization pressure to learn undesired traits by strengthening the trait at train time. Inoculation adapters are LoRAs that are trained and used over three steps: 1) trained on undesired traits; 2) attached frozen while a separate task adapter is trained on data exhibiting both desired and undesired traits; 3) at deployment, the IA is discarded, and only the task adapter is kept. We show across six model families and several undesired traits including emergent misalignment, that inoculation adapters are more effective at suppressing undesired traits, while avoiding two drawbacks of inoculation prompting: inoculation adapters can suppress capabilities and traits that cannot be reliably elicited by a prompt, and they introduce fewer surprising backdoors than inoculation prompting under our probes. While undesired traits are better suppressed by inoculation adapters, the retention of desired traits is not consistently improved upon inoculation prompting and remains a challenge for both techniques.