ALIGNBEAM: 크로스-보카불러리 로짓 혼합을 통한 추론 시간 정렬 전이

ALIGNBEAM : Inference-Time Alignment Transfer via Cross-Vocabulary Logit Mixing

도메인 미세 조정은 대규모 언어 모델의 안전성을 저하시킵니다. 미세 조정된 전문 모델은 도메인 언어로 구성된 유해한 프롬프트에 쉽게 응답합니다. 기존의 추론 시간 방어 기법들은 안전한 기준 모델과 로짓을 혼합하지만, 이 방법들은 두 모델이 동일한 어휘를 공유해야 하므로, 안전성이 가장 저하되는 서로 다른 모델 그룹 간에는 적용할 수 없습니다. 본 논문에서는 ALIGNBEAM이라는 훈련 없이 동작하는 방법을 제시합니다. 이 방법은 기준 모델의 로짓을 대상 모델의 어휘 토큰 단위로 번역하여 위에서 언급한 제약을 완화합니다. 작은 LLM 판별기가 K개의 후보 연속 항목 중에서 가장 안전한 것을 선택합니다. 어떤 가중치도 변경되지 않으며, 안전성과 유용성의 균형은 재훈련 없이 배포 시 조정할 수 있습니다. ALIGNBEAM은 서로 다른 어휘를 사용하는 모델과 동일한 어휘를 사용하는 모델 모두에서 악의적인 벤치마크에 대한 거부율을 크게 향상시키면서, 작업 정확도와 추론 오버헤드를 실용적인 범위 내로 유지합니다. 실험 결과는 안전 정렬이 모델 그룹 간에 추론 시간 동안 전송될 수 있으며, 이 과정에서 어떤 모델의 가중치도 변경되지 않는다는 것을 보여줍니다.

Domain fine-tuning degrades the safety of large language models: fine-tuned specialists readily comply with harmful prompts framed in domain language. Existing inference-time defenses that mix logits from a safe anchor model require both models to share a vocabulary, which rules them out for the cross-family specialists where safety is most degraded. We present ALIGNBEAM, a training-free method that lifts this restriction by translating anchor logits into the target model's vocabulary token-by-token at each decoding step; a small LLM judge then selects the safest among K candidate continuations. No weights are changed, and the safety-utility trade-off can be tuned at deployment without retraining. Across both cross-vocabulary and same-vocabulary evaluation pairs, ALIGNBEAM substantially raises refusal on adversarial benchmarks while keeping task accuracy and inference overhead within practical bounds. The results show that safety alignment can be transferred between model families at inference time, without touching either model's weights.