트랜스포머 잔차 동역학에서의 순방향 신경망 기반 조향

Feed-Forward Steering in Transformer Residual Dynamics

기존의 어텐션 기반 동역학 이론은 트랜스포머 잔차 방향을 구체들이 구면 위에서 집합하는 현상으로 모델링합니다. 본 연구에서는 이 프레임워크를 확장하여, 각 토큰 상태에 작용하는 로컬 조향장 역할을 하는 순방향 신경망(FFN) 항을 포함시켰습니다. 결과적으로 도출된 이론은 FFN장의 접선 성분이 잔차 방향 공간에서의 움직임에 필수적이며, 중요한 잔차 방향이 비선형 투영 평형 상태에 해당하며, 특정 교환자 결함 값이 어텐션-FFN 블록이 병렬적이고 가산적인 흐름으로 정확하게 근사될 수 있는 시점을 결정한다고 예측합니다. GPT-2, Pythia, Mistral 및 Llama 모델에서 확장된 이론은 어텐션만 사용하는 기준선에 비해 1단계 각도 예측 성능을 향상시키며, 특히 FFN의 기여도는 GPT-2부터 Llama-3-8B까지 증가하는 경향을 보입니다. 개입 실험 결과, 접선 성분만을 유지하면 모델 품질이 대부분 유지되지만, 방사성분만 유지하면 성능이 급격히 저하됩니다. 또한, 접선 성분은 집합 압력 하에서도 출력 다양성을 유지합니다. 실용적인 응용 측면에서, 작은 교환자 결함 값을 갖는 레이어는 손실 증가가 미미한 수준으로 병렬화될 수 있지만, 큰 결함 값을 갖는 레이어는 성능이 급격히 저하됩니다. 이러한 결과들은 FFN 레이어가 트랜스포머 잔차 기하학을 형성하고 블록 수준의 개입 가능성을 결정하는 방향성 조향장 역할을 한다는 해석을 뒷받침합니다.

Attention-only dynamical theories model Transformer residual directions as particles aggregating on a sphere. We extend this framework by incorporating the feed-forward network (FFN) term as a local steering field acting on each token state. The resulting theory predicts that the tangential component of the FFN field is necessary for motion in residual-direction space, that critical residual directions correspond to nonlinear projective equilibria, and that a commutator defect determines when a finite attention--FFN block can be accurately approximated by a parallel, additive flow. Across GPT-2, Pythia, Mistral, and Llama models, the extended theory improves one-step angular prediction relative to an attention-only baseline, with the contribution of the FFN increasing from GPT-2 to Llama-3-8B. Intervention experiments show that retaining only the tangential FFN component preserves most model quality, whereas retaining only the radial component causes performance to collapse. The tangential component also preserves output diversity under aggregation pressure. As a practical application, layers with small commutator defects can be approximately parallelized with only a modest increase in loss, whereas layers with large defects degrade rapidly. These findings support the interpretation of FFN layers as directional steering fields that shape Transformer residual geometry and govern the feasibility of block-level interventions.