에너지 교정을 통한 멀티 어댑터 표현 개입

Multi-Adapter Representation Interventions via Energy Calibration

표현 개입은 모델 가중치를 수정하지 않고도 대규모 언어 모델을 원하는 방향으로 조정하는 유망한 패러다임으로 부상했습니다. 기존 방법들은 일반적으로 모든 입력에 대해 고정된 개입을 적용합니다. 그러나 우리는 샘플마다 적절한 개입 방향과 강도가 크게 다르며, 이러한 무차별적인 개입은 양성 입력에서의 일반화 능력을 저하시킨다는 것을 발견했습니다. 이러한 문제점을 해결하기 위해, 에너지 교정을 통한 멀티 어댑터 표현 개입(MARI)을 제안합니다. 구체적으로, 우리는 특수 전문가들이 비선형 보정 패턴을 학습하고, 각 샘플에 적합한 개입 방향과 강도를 적응적으로 결정하는 경쟁적 멀티 어댑터 메커니즘을 도입했습니다. 또한, 내부 전파 동역학을 활용하여 개입이 적용될 수 있는 입력을 구별하는 에너지 기반 게이트 모듈을 설계했습니다. 다양한 모델 계열 및 파라미터 규모에 걸친 광범위한 실험 결과, MARI는 최첨단 정렬 성능을 달성한다는 것을 보여줍니다. 우리의 방법은 TruthfulQA, BBQ 및 안전성 벤치마크에서 성능을 크게 향상시키면서 동시에 MMLU 및 ARC와 같은 작업에서 일반화 능력을 유지하거나 오히려 개선합니다. 저희의 코드는 https://github.com/V1centNevwake/MARI 에서 확인할 수 있습니다.

Representation intervention has emerged as a promising paradigm for aligning large language models toward desired behaviors without modifying model weights. Existing methods typically apply a fixed intervention uniformly across all inputs. However, we find that the appropriate intervention direction and strength vary substantially across samples, and such indiscriminate intervention leads to degradation of general capabilities on benign inputs. To address these challenges, we propose Multi-Adapter Representation Interventions via Energy Calibration (MARI). Specifically, we introduce a competitive multi-adapter mechanism in which specialized experts capture non-linear correction patterns and adaptively determine the appropriate intervention direction and strength for different samples. Furthermore, we design an energy-based gating module that leverages internal propagation dynamics to distinguish inputs that are applicable for intervention. Extensive experiments across diverse model families and parameter scales demonstrate that MARI achieves state-of-the-art alignment performance. Our method significantly improves performance on TruthfulQA, BBQ, and safety benchmarks, while maintaining and even improving general capabilities on tasks such as MMLU and ARC. Our code is available at https://github.com/V1centNevwake/MARI.