토폴로지 기반 복원: 효율적인 희소 학습을 위한 방법

Topology-Aware Revival for Efficient Sparse Training

고정된 마스크 패턴을 사용하여 효율적인 학습을 가능하게 하는 정적 희소 학습은 유망한 접근 방식이지만, 제한적인 구조는 강건성을 저하시킨다. 초기 가지치기 결정은 네트워크를 취약한 구조로 고정시키며, 특히 강화 학습(RL)과 같이 변화하는 정책으로 인해 학습 분포가 지속적으로 변하는 경우, 이러한 구조에서 벗어나기 어렵다. 본 논문에서는 정적 희소성을 향상시키면서 동적인 재구성을 피하는 경량의 일회성 후처리 절차인 토폴로지 기반 복원(Topology-Aware Revival, TAR)을 제안한다. 정적 가지치기 후, TAR은 각 레이어의 토폴로지 요구 사항에 따라 작은 예비 자원을 할당하고, 각 레이어 내에서 이전에 가지치기된 연결을 무작위로 재활성화한 후, 나머지 학습 과정 동안 결과적인 연결성을 고정한다. SAC 및 TD3를 사용한 다양한 연속 제어 작업에서, TAR은 정적 희소 학습 기준보다 최종 보상을 최대 +37.9% 향상시키며, 동적 희소 학습 기준보다 중앙값으로 +13.5%의 성능 향상을 보인다.

Static sparse training is a promising route to efficient learning by committing to a fixed mask pattern, yet the constrained structure reduces robustness. Early pruning decisions can lock the network into a brittle structure that is difficult to escape, especially in deep reinforcement learning (RL) where the evolving policy continually shifts the training distribution. We propose Topology-Aware Revival (TAR), a lightweight one-shot post-pruning procedure that improves static sparsity without dynamic rewiring. After static pruning, TAR performs a single revival step by allocating a small reserve budget across layers according to topology needs, randomly uniformly reactivating a few previously pruned connections within each layer, and then keeping the resulting connectivity fixed for the remainder of training. Across multiple continuous-control tasks with SAC and TD3, TAR improves final return over static sparse baselines by up to +37.9% and also outperforms dynamic sparse training baselines with a median gain of +13.5%.