FIRE: Frobenius-Isometry 재초기화를 통한 안정성-가소성 균형 조절

FIRE: Frobenius-Isometry Reinitialization for Balancing the Stability-Plasticity Tradeoff

비정상 데이터로 훈련된 심층 신경망은 안정성(이전 지식 유지)과 가소성(새로운 작업에 적응) 사이의 균형을 맞춰야 합니다. 가중치를 초기 값으로 재설정하는 표준적인 방법은 널리 사용되지만, 튜닝하기 어렵습니다. 보수적인 재초기화는 가소성을 회복하지 못하고, 공격적인 재초기화는 유용한 지식을 소실시킵니다. 본 논문에서는 안정성과 가소성 사이의 균형을 명시적으로 조절하는 FIRE라는 새로운 재초기화 방법을 제안합니다. FIRE는 제곱 Frobenius 오차(SFE)를 사용하여 과거 가중치와의 유사성을 측정하여 안정성을, 그리고 등방성(isotropy)을 반영하는 등방성 편차(DfI)를 사용하여 가소성을 정량화합니다. 재초기화 지점은 제약 조건 최적화 문제를 풀어 얻으며, DfI가 0이 되도록 설정하고 SFE를 최소화하며, 이는 Newton-Schulz 반복을 통해 효율적으로 근사됩니다. FIRE는 지속적인 시각 학습(ResNet-18을 사용한 CIFAR-10), 언어 모델링(GPT-0.1B를 사용한 OpenWebText), 강화 학습(SAC를 사용한 HumanoidBench 및 DQN을 사용한 Atari 게임) 영역에서 평가되었습니다. 모든 영역에서 FIRE는 개입 없는 일반적인 훈련과 표준적인 재초기화 방법보다 일관되게 우수한 성능을 보이며, 안정성과 가소성 사이의 효과적인 균형을 이루는 것을 입증합니다.

Deep neural networks trained on nonstationary data must balance stability (i.e., retaining prior knowledge) and plasticity (i.e., adapting to new tasks). Standard reinitialization methods, which reinitialize weights toward their original values, are widely used but difficult to tune: conservative reinitializations fail to restore plasticity, while aggressive ones erase useful knowledge. We propose FIRE, a principled reinitialization method that explicitly balances the stability-plasticity tradeoff. FIRE quantifies stability through Squared Frobenius Error (SFE), measuring proximity to past weights, and plasticity through Deviation from Isometry (DfI), reflecting weight isotropy. The reinitialization point is obtained by solving a constrained optimization problem, minimizing SFE subject to DfI being zero, which is efficiently approximated by Newton-Schulz iteration. FIRE is evaluated on continual visual learning (CIFAR-10 with ResNet-18), language modeling (OpenWebText with GPT-0.1B), and reinforcement learning (HumanoidBench with SAC and Atari games with DQN). Across all domains, FIRE consistently outperforms both naive training without intervention and standard reinitialization methods, demonstrating effective balancing of the stability-plasticity tradeoff.