소스 중심 상태 진화 기반 루프 트랜스포머

Looped Transformers with Source-Centered State Evolution

루프 트랜스포머는 동일한 트랜스포머 블록을 반복적으로 사용하여 효과적인 깊이를 증가시키면서 학습 및 테스트 시 계산 효율성을 향상시킵니다. 그러나 공유된 블록은 학습 및 추론 과정에서 다양한 은닉 상태를 포함하는 전체 경로를 관리해야 합니다. 또한, 추가 입력 주입 방식의 루프 트랜스포머에서는 입력에 조건화된 신호가 각 반복 단계에서 다시 주입되므로, 입력 조건화 기준을 사용하여 공유된 전환을 적용하더라도 은닉 상태가 변경될 수 있습니다. 본 논문에서는 입력 조건화를 유지하면서 참조 값을 보존하는 공유 순환 구조를 조율하기 위한 소스 중심 상태 진화(SCSE) 방법을 제안합니다. 구체적으로, SCSE는 학습된 기준점과 초기 편차를 통해 입력 의존성을 유지하고, 0이 아닌 편차가 순환 계산을 주도하도록 하면서 0인 편차는 0으로 매핑되도록 합니다. 또한, 0 편차 마스크를 사용하여 정확한 기준점 불변성을 보장합니다. 이렇게 정의된 기준점은 설계상 일 단계 고정점으로 작동합니다. 0 편차 강제 편향은 기준점에서 파생된 다음 편차이며 SCSE에서는 사라지지만, 0이 아닌 편차는 활성화되어 상태 의존적인 순환 계산을 지원합니다. 우리의 이론적 분석에 따르면, 0 편차 강제 편향은 설계 자유도로 작용하며, 그 효과는 해로울 수도 있고 중립적일 수도 있으며 유익할 수도 있습니다. SCSE는 이러한 선택 문제를 해결하고 정확한 기준점 불변성을 위해 해당 편향을 0으로 설정합니다. WikiText-2, WikiText-103 데이터셋에 대한 실험, 웹 코퍼스 사전 학습, 보류된 웹 텍스트 전이 및 LAMBADA 완성 작업에서 SCSE는 제어 가능한 순환 품질의 성능 향상을 보여줍니다. 추가 분석을 통해 학습된 기준점과 기준점 좌표 편차 순환이 성능 향상에 가장 큰 기여를 한다는 것을 확인했으며, 훈련된 모델 사례 연구를 통해 관찰된 순환 움직임을 기반으로 기준점 응답 진단을 수행했습니다.

Looped Transformers create a useful train- and test-time compute axis by reusing the same Transformer block over recurrent depth, increasing effective depth at a fixed parameter count. However, that shared block must then govern an entire trajectory of varying hidden states over trained and extrapolated depths. Furthermore, in additive-injection looped Transformers, an input-conditioned signal is reintroduced at every recurrent step, so applying the shared transition at an input-conditioned reference can still move the hidden state. In this paper, we propose Source-Centered State Evolution (SCSE), which is designed to reconcile input conditioning with reference-preserving shared recurrence. Specifically, SCSE retains input dependence through its learned anchor and initial deviation, allows nonzero deviations to drive recurrent computation while mapping zero deviation to zero, and guarantees exact anchor invariance through its zero-deviation mask. The designated anchor is thereby a one-step fixed point by construction. The zero-deviation forcing bias is the next deviation produced from the anchor itself and vanishes in SCSE, while nonzero deviations remain active and support state-dependent recurrent computation. Our theory shows that the zero-deviation forcing bias is a design degree of freedom whose task effect can be harmful, neutral, or beneficial; SCSE resolves this choice in favor of exact anchor invariance by setting the bias to zero. Across WikiText-2, WikiText-103, direct web-corpus pretraining, held-out web-text transfer, and LAMBADA completion, SCSE improves the controlled recurrent quality frontier. Ablation studies identify the learned anchor and the anchor-coordinate deviation recurrence as the primary contributors to the gain, and a trained-model case study grounds the anchor-response diagnostic in observed recurrent motion.