복잡성으로부터의 학습: 시공간 훈련의 동적 샘플 가지치기 탐구

Learning from Complexity: Exploring Dynamic Sample Pruning of Spatio-Temporal Training

시공간 예측은 교통, 기후 과학 및 도시 계획 분야의 지능형 시스템에 있어 필수적이다. 그러나 이러한 분야의 방대하고 종종 중복되는 데이터셋으로 딥러닝 모델을 훈련하는 것은 심각한 계산적 병목 현상을 초래한다. 기존의 해결책들은 훈련 데이터 자체의 내재적인 비효율성을 간과한 채, 주로 모델 아키텍처나 최적화 알고리즘을 최적화하는 데 중점을 둔다. 매 에포크마다 전체 정적 데이터셋을 반복하는 이러한 전통적인 방식은 학습하기 쉽거나 반복적인 샘플에 상당한 자원을 낭비하게 만든다. 본 논문에서는 시공간 예측을 위한 새로운 훈련 효율성 기법인 '동적 샘플 가지치기를 활용한 복잡성으로부터의 학습(ST-Prune)'을 탐구한다. 동적 샘플 가지치기를 통해, 우리는 모델의 실시간 학습 상태를 기반으로 가장 정보가 풍부한 샘플을 지능적으로 식별함으로써 수렴 속도를 높이고 훈련 효율성을 향상시키는 것을 목표로 한다. 실제 시공간 데이터셋을 대상으로 수행한 광범위한 실험 결과, ST-Prune은 모델의 성능을 유지하거나 심지어 향상시키면서도 훈련 속도를 크게 가속화하며, 확장성과 범용성 또한 갖추고 있음을 보여준다.

Spatio-temporal forecasting is fundamental to intelligent systems in transportation, climate science, and urban planning. However, training deep learning models on the massive, often redundant, datasets from these domains presents a significant computational bottleneck. Existing solutions typically focus on optimizing model architectures or optimizers, while overlooking the inherent inefficiency of the training data itself. This conventional approach of iterating over the entire static dataset each epoch wastes considerable resources on easy-to-learn or repetitive samples. In this paper, we explore a novel training-efficiency techniques, namely learning from complexity with dynamic sample pruning, ST-Prune, for spatio-temporal forecasting. Through dynamic sample pruning, we aim to intelligently identify the most informative samples based on the model's real-time learning state, thereby accelerating convergence and improving training efficiency. Extensive experiments conducted on real-world spatio-temporal datasets show that ST-Prune significantly accelerates the training speed while maintaining or even improving the model performance, and it also has scalability and universality.