강건성은 학습 초기에 나타나지만 유지되지 않는다

Robustness Emerges Early in Training Dynamics, but Is Not Preserved

심층 신경망에서 자연스러운 왜곡에 대한 강건성을 확보하는 것은 여전히 중요한 과제입니다. 본 논문에서는, 초기 학습 단계에서 얕은 계층이 자발적으로 강건한 표현과 평탄한 손실 지형을 형성하지만, 이러한 특성이 표준적인 수렴 과정에서 유지되지 않는 '강건성 소멸' 현상을 밝혀냅니다. 이를 해결하기 위해, 우리는 경험적으로 확인된 초기 등장하는 강건한 사전 지식을 안정화시키는 전략적 개입을 수행하는 프레임워크를 제안합니다. 우리의 접근 방식은 Early-Phase Stabilization (EPS) 및 Asymmetric Weight Reversion (AWR)이라는 두 가지 파라미터-프리 전략을 포함하며, 이는 모델 아키텍처를 변경하거나 학습 가능한 파라미터를 도입하지 않고도 강건한 얕은 계층 구성을 안정화하거나 복구합니다. 다양한 벤치마크 및 아키텍처에 대한 광범위한 실험 결과는, 제안하는 프레임워크가 다운스트림 전이, 동적 적응 및 다양한 컴퓨터 비전 응용 분야에서 상당한 성능 향상을 가져옴을 보여줍니다.

Robustness to natural corruptions remains a fundamental challenge for deep neural networks. In this paper, we identify a robustness fading phenomenon where shallow layers spontaneously develop robust representations and flat loss landscapes in early training, yet these properties are not preserved during standard convergence. To address this, we propose a framework that performs strategic interventions on training dynamics to stabilize the empirically identified early-emergent robust priors. Our approach includes two parameter-free strategies: Early-Phase Stabilization~(EPS) and Asymmetric Weight Reversion~(AWR), which stabilize or recover robust shallow configurations without modifying the model architecture or introducing learnable parameters. Extensive experiments demonstrate the efficacy of our framework across various benchmarks and architectures, yielding significant gains in downstream transfer, dynamic adaptation, and diverse computer vision applications.