심층 잔차 신경망에서의 점진적 근사: 이론 및 검증

Progressive Approximation in Deep Residual Networks: Theory and Validation

범용 근사 정리(UAT)는 범용 함수 근사를 보장하지만, 잔차 모델이 근사를 어떻게 레이어별로 분산시키는지 설명하지 않습니다. 본 연구에서는 잔차 신경망을 입력에서 목표 값으로 이어지는 근사 경로를 구축하는 레이어별 근사 과정으로 재해석하고, 깊이에 따라 오차가 단조적으로 감소하는 점진적 경로의 존재를 증명합니다. 이를 통해 잔차 신경망이 엔드투엔드(E2E) 블랙박스 매핑이 아닌, 체계적이고 단계적인 정제를 구현할 수 있음을 밝힙니다. 이러한 내용을 바탕으로, 각 레이어를 잔차 목표 값에 명시적으로 정렬하여 이러한 경로를 실현하는 이론적으로 뒷받침되는 학습 원리인 레이어별 점진적 근사(LPA)를 제안합니다. LPA는 아키텍처에 구애받지 않으며, 복잡한 표면 적합, 이미지 분류, LLM을 활용한 생성 및 분류 작업 등 다양한 작업에서 잔차 FNN, ResNet, Transformer에서 점진적인 동작을 관찰했습니다. 더욱 중요한 점은, 이를 통해 ``한 번 학습하여 N개의 모델을 활용``하는 것이 가능하며, 이는 재학습 없이 효율적인 얕은 추론을 지원합니다. 본 연구는 근사 이론과 실제 딥러닝을 통합하여 표현 학습에 대한 새로운 시각을 제공하고, 다중 깊이 배포를 위한 유연한 프레임워크를 제시합니다. 소스 코드는 논문 게재 후 https://(open_upon_acceptance) 에서 공개될 예정입니다.

The Universal Approximation Theorem (UAT) guarantees universal function approximation but does not explain how residual models distribute approximation across layers. We reframe residual networks as a layer-wise approximation process that builds an approximation trajectory from input to target, and prove the existence of progressive trajectories where error decreases monotonically with depth. It reveals that residual networks can implement structured, step-by-step refinement rather than end-to-end (E2E) black-box mapping. Building on this, we propose Layer-wise Progressive Approximation (LPA), a theoretically grounded training principle that explicitly aligns each layer with its residual target to realize such trajectories. LPA is architecture-agnostic: we observe progressive behavior in residual FNNs, ResNets, and Transformers across tasks including complex surface fitting, image classification, and NLP with LLMs for generation and classification. Crucially, this enables ``train once, use $N$ models": a single network yields useful predictions at every depth, supporting efficient shallow inference without retraining. Our work unifies approximation theory with practical deep learning, providing a new lens on representation learning and a flexible framework for multi-depth deployment. The source code will be released unpon acceptance at https://(open\_upon\_acceptance).