FOGO: 망각 인지 직교화 최적화 알고리즘

FOGO: Forgetting-aware Orthogonalization Optimizer

본 논문에서는 망각이 지속적인 학습에만 국한되지 않고 일반적인 최적화 현상임을 주장합니다. 표준 학습 과정에서, 지배적인 미니 배치 기울기(gradient)는 희귀하지만 유용한 업데이트 방향을 억제하여 매 단계마다 단기적인 망각을 야기합니다. 이러한 지식이 다시 활용되지 않으면, 이러한 손실은 장기적인 망각으로 누적되어 지속적인 학습의 고전적인 실패 원인이 됩니다. 본 논문에서는 FOGO라는 확장 가능한 최적화 알고리즘을 제안합니다. FOGO는 두 가지 환경 모두에서 기울기 간섭을 지속적으로 감지하고 해결합니다. 먼저, 운동량 업데이트를 스펙트럴 직교화를 통해 지배적인 방향이 최적화를 독점하는 것을 방지하고, 랜덤 투영 기반의 압축 코드로 구성된 메모리에 대표적인 과거 방향을 저장합니다. 이 메모리에서 쌍별 거리는 저차원 공간에서 증명적으로 보존됩니다. 각 단계마다 현재 업데이트와 저장된 방향 간의 충돌은 경량 직교 수정 및 근접 단계(proximal step)를 통해 해결되며, 오버헤드가 최소화되고 데이터 저장 없이 구현됩니다. FOGO는 클래스 불균형 분류, 도메인 및 클래스 변화가 있는 지속적인 시각적 학습, LLaVA-7B의 지속적인 미세 조정 및 GPT-2의 사전 훈련 등 다양한 실험에서 Adam 및 Muon보다 우수한 수렴 속도와 지식 유지 능력을 보여줍니다.

We argue that forgetting is not confined to continual learning but is a general optimization phenomenon: during standard training, dominant mini-batch gradients suppress rare but useful update directions, causing short-term forgetting at every step. When such knowledge is never revisited, these losses compound into long-term forgetting-the classical failure mode of continual learning. We introduce FOGO, a scalable optimizer that continuously detects and resolves gradient interference across both regimes. FOGO spectrally orthogonalizes momentum updates to prevent dominant directions from monopolizing optimization, then stores representative past directions in a compact codebook memory built on random projection, where pairwise distances are provably preserved in low-dimensional space. At each step, conflicts between the current update and stored directions are resolved via lightweight orthogonal correction and lifted back through a proximal step, with minimal overhead and no data storage. Across class-imbalanced classification, continual visual learning under domain and class shifts, continual fine-tuning of LLaVA-7B, and GPT-2 pretraining, FOGO consistently improves convergence and knowledge retention, outperforming Adam and Muon.