분포 변화 하에서의 안정적인 적응을 위한 손실 스무딩

Loss Smoothing for Stable Adaptation Under Distribution Shift

미세 조정 및 강화 학습과 같은 환경에서 신경망은 종종 분포 변화 상황에서 적응됩니다. 일반적인 적응 방법은 일반적으로 대상 목표를 직접 최적화하여 소스 훈련 목표로부터 갑작스러운 변화를 유발합니다. 이러한 급격한 전환은 학습된 표현을 왜곡시킬 수 있으며, 특히 새로운 작업에 여전히 유용할 수 있는 특징들을 포함할 수 있습니다. 본 연구에서는 보다 점진적인 전환이 적응 성능을 향상시킬 수 있는지 조사합니다. 우리는 손실 스무딩이라는 간단한 방법을 제안하는데, 이는 적응 시작 시 소스 및 대상 훈련 목표 사이를 보간하는 방식입니다. 이러한 부드러운 전환은 모델이 대상 분포에 특화되도록 하면서도 소스 분포에서 유용한 특징을 유지하도록 돕습니다. 통제된 지도 학습 변화, 사전 훈련된 비전 모델 적응, 오프라인-온라인 및 온라인 강화 학습, 그리고 언어 모델 미세 조정을 포함한 다양한 실험에서 손실 스무딩이 일관적으로 성능을 향상시키는 것을 확인했습니다. 이는 보다 부드러운 목표 전환이 모델 적응에 널리 유용한 도구임을 시사합니다.

In settings such as fine-tuning and reinforcement learning, neural networks are often adapted under distribution shift. Standard adaptation methods typically optimize the target objective directly, inducing an abrupt change from the source training objective. This abrupt transition can distort learned representations, including features that may still be useful for the new task. We investigate whether a more gradual transition can improve adaptation. We propose loss smoothing, a simple approach that interpolates between the source and target training objectives at the start of adaptation. This smooth transition helps to preserve useful features from the source distribution while still enabling the model to specialize to the target distribution. Across controlled supervised shifts, pretrained vision adaptation, offline-to-online and online reinforcement learning, and language model fine-tuning, we find that loss smoothing consistently improves performance, suggesting that smoother objective transitions are a broadly useful tool for model adaptation.