사전 학습 커리큘럼이 선택적 미세 조정(Fine-tuning)을 가능하게 하다

Pretraining Curricula Enable Selective Fine-tuning

트랜스포머 모델은 특정 작업들이 다른 작업들보다 먼저 학습되는 암묵적인 학습 과정을 따릅니다. 그러나 명시적인 사전 학습 커리큘럼이 학습, 일반화 및 미세 조정의 선택성에 어떤 영향을 미치는지에 대한 이해는 아직 부족합니다. 이는 AI 안전과 관련하여 매우 중요하며, 왜냐하면 미세 조정을 통해 의도하지 않은 행동을 선택적으로 억제할 수 있기 때문입니다. 본 연구에서는 작업들을 균형 있게(균등하게 샘플링) 또는 불균형하게(하나의 작업을 먼저 학습하고 다른 작업은 나중에 학습) 사전 학습하는 커리큘럼을 비교합니다. 실험 결과, 두 가지 상충되는 복사 작업에 대한 불균형적인 학습은 문맥 내 학습을 촉진하고 거부 미세 조정의 선택성을 향상시키는 것으로 나타났습니다. 추가 분석(Ablation study) 및 활성화 패턴 분석을 통해, 불균형적인 사전 학습이 작업들을 분리 가능한 신경 회로에서 분리하도록 장려하기 때문에 이러한 현상이 발생하며, 반면 균형 잡힌 학습은 두 작업을 모두 동일한 경로를 통해 처리하게 된다는 것을 확인했습니다. 이러한 결과를 규칙 기반의 언어 학습 과제에 적용한 결과에서도 유사한 경향이 나타났습니다. 즉, 불균형적인 커리큘럼은 더 국소화되고 덜 복잡하게 결합된 규칙 표현을 유도하여 보다 강력한 규칙 준수 행동으로 이어졌습니다. 종합적으로 볼 때, 이러한 결과는 불균형적인 사전 학습 커리큘럼이 분리된 표현을 촉진하는 데 중요한 도구가 될 수 있으며, 이는 안전 미세 조정의 정확성과 신뢰성에 직접적인 영향을 미칠 수 있음을 시사합니다.

Transformers follow implicit curricula whereby some tasks are learned before others. However, how explicit pretraining curricula influence learning, generalization, and the selectivity of fine-tuning is unclear. This is important for AI safety, where fine-tuning is used to selectively suppress misaligned behaviors. Here, we compare curricula that pretrain tasks in a balanced (sampled uniformly) or an imbalanced (one task early, the other late) fashion. We show that imbalanced learning of two conflicting copy tasks promotes in-context learning and improves the selectivity of refusal fine-tuning. Ablations and activation patching show that this occurs because imbalanced pretraining encourages tasks to be disentangled in separable neural circuits, whereas balanced training routes both tasks through a common pathway. We extend these findings to a synthetic language learning task involving rule-consistent and rule-violating data, where imbalanced curricula similarly lead to more localized, less entangled rule representations, resulting in more robust rule-following behavior. Together, these results suggest that imbalanced pretraining curricula may be an important tool for promoting disentangled representations, with direct consequences for the precision and reliability of safety fine-tuning.