트랜스포머 구조 내에서의 일관성 학습

Consistency Training Along the Transformer Stack

일관성 학습은 모델이 다양한 맥락에서 유사한 방식으로 작동하도록 장려하며, 이는 불일치를 줄이는 데 유망한 결과를 보여주었습니다. 본 연구에서는 일관성 학습의 범위를 두 가지 측면에서 확장합니다. 첫째, 새로운 내부 일관성 목표를 도입합니다: 활성화 후 MLP 상태를 비교하는 MLP 일관성 학습 (MLPCT) 및 각 헤드별 어텐션 분포를 비교하는 어텐션 일관성 학습 (AttCT). 둘째, 페르소나 기반 문맥 학습 공격, 적대적 좌절, 프리필 공격, 그리고 조건부 불일치 등 네 가지 추가적인 안전 위협에 대해 일관성 학습을 적용합니다. 여러 모델과 위협 설정에서 일관성 학습은 이전 연구에서 다루어진 '아첨' 및 '탈옥' 상황 외에도 불일치를 효과적으로 줄이는 것으로 나타났습니다. 또한, 하나의 실패 모드에 대한 학습이 다른 실패 모드에 대한 견고성을 향상시키는 교차 위협 일반화 사례를 발견했으며, ACT, MLPCT 및 AttCT의 기반 메커니즘인 공유 잔류 스트림을 밝혀냈으며, BCT는 이와는 다른 방식으로 작동함을 확인했습니다. 본 연구 결과는 일관성 학습이 광범위한 모델 병리 현상에 대한 방어 체계를 통합할 수 있는 유연하고 확장 가능한 정렬 프레임워크임을 시사합니다.

Consistency training encourages models to behave similarly across different contexts, and has shown promise for reducing misalignment. We broaden the scope of consistency training in two ways. First, we introduce two new internal consistency targets: MLP Consistency Training (MLPCT), which matches post-activation MLP states, and Attention Consistency Training (AttCT), which matches per-head attention distributions. Second, we apply consistency training to four additional safety threats: persona in-context learning attacks, adversarial frustration, prefill attacks, and conditional misalignment. Across several models and threat settings, we find that consistency training reduces misalignment well beyond the sycophancy and jailbreak settings studied in prior work. We also find cases of cross-threat generalization, where training against one failure mode improves robustness to another, and identify a shared residual-stream mechanism underlying ACT, MLPCT, and AttCT, while distinguishing BCT as mechanistically distinct. Our results suggest that consistency training is a flexible and extensible framework for alignment, capable of unifying defenses against a broader class of model pathologies.