딥 델타 학습 (Deep Delta Learning)

Deep Delta Learning

심층 잔차 네트워크의 성능은 일반적으로 아이덴티티(identity) 단축 연결에 크게 의존합니다. 이 메커니즘은 기울기 소실 문제를 완화하지만, 특징 변환에 엄격하게 가산적인 귀납 편향(inductive bias)을 부여하여 네트워크가 복잡한 숨겨진 상태 변화를 모델링하는 능력을 제한합니다. 본 논문에서는 고정된 아이덴티티 맵을 학습 가능한, 상태에 의존적인 선형 연산자로 일반화하는 **딥 델타 학습 (Deep Delta Learning, DDL)**을 제안합니다. 결과적으로 생성되는 델타 연산자는 랭크 1의 교란(rank-1 perturbation)으로, $ extbf{A}( extbf{X}) = extbf{I} - β( extbf{X}) extbf{k}( extbf{X}) ( extbf{X}) extbf{k}( extbf{X})^ op$ 형태로 표현되며, 단위 방향 벡터 $ extbf{k}( extbf{X})$와 스칼라 게이트 $β( extbf{X})$에 의해 매개변수화됩니다. 스펙트럼 분석을 통해 $β( extbf{X})$가 아이덴티티($β=0$), 직교 투영($β=1$), 그리고 하우스홀더 반사($β=2$) 사이를 연속적으로 보간함을 보여줍니다. 또한, 잔차 업데이트를 동기화된 랭크 1의 델타 쓰기(delta write)로 재정의합니다: $β$는 현재 $ extbf{k}$ 성분의 제거와 새로운 $ extbf{k}$ 성분의 주입을 동시에 스케일링합니다. 이러한 통합은 데이터에 따라 결정되는 방향을 따라 단축 연결의 스펙트럼을 명시적으로 제어하면서도 안정적인 학습을 유지할 수 있도록 합니다. 실험적으로, 트랜스포머(Transformer)의 잔차 덧셈을 DDL로 대체하면 검증 손실(validation loss)과 퍼플렉시티(perplexity)를 개선할 뿐만 아니라, 언어 모델링 작업에서 하위 평가 정확도 또한 향상됩니다. 특히, 확장된 상태(expanded-state)에서 더 큰 성능 향상을 보입니다.

The effectiveness of deep residual networks hinges on the identity shortcut connection. While this mechanism alleviates the vanishing-gradient problem, it also has a strictly additive inductive bias on feature transformations, limiting the network's ability to model complex hidden state transitions. In this paper, we introduce \textbf{Deep Delta Learning (DDL)}, which generalizes the shortcut from a fixed identity map to a learnable, state-dependent linear operator. The resulting Delta Operator is a rank-1 perturbation of the identity, $\mathbf{A}(\mathbf{X}) = \mathbf{I}- β(\mathbf{X})\mathbf{k} (\mathbf{X}) \mathbf{k} (\mathbf{X})^\top$, parameterized by a unit direction $\mathbf{k}(\mathbf{X})$ and a scalar gate $β(\mathbf{X})$. We provide a spectral analysis showing that $β(\mathbf{X})$ continuously interpolates the shortcut between identity ($β=0$), orthogonal projection ($β=1$), and Householder reflection ($β=2$). Furthermore, we rewrite the residual update as a synchronized rank-1 delta write: $β$ scales both the removal of the current $\mathbf{k}$-component and the injection of the new $\mathbf{k}$-component. This unification enables explicit control of the shortcut spectrum along a data-dependent direction while retaining stable training behavior. Empirically, replacing Transformer residual additions with DDL improves validation loss and perplexity, as well as downstream evaluation accuracy on language modeling tasks, with larger gains in the expanded-state setting.