스펙트럴 증류: 비선형 동역학에서 선형 상태 공간 모델로

Spectral Distillation: From Nonlinear Dynamics to Linear State-Space Models

비선형 동적 시스템을 직접적인 비볼록 시스템 식별 문제를 해결하지 않고, 간결한 선형 상태 공간 표현으로 학습할 수 있을까요? 본 연구에서는 이를 가능하게 하는 검증 가능한 방법을 제시합니다. 알려지지 않은 비선형 동적 시스템의 관측 데이터를 기반으로, 먼저 관측 스펙트럴 필터링(Observation Spectral Filtering, OSF)이라는 볼록 최적화 기법을 사용하여 암묵적인 스펙트럴 예측기를 학습합니다. 이 방법은 해당 시스템에 대한 최고의 선형 옵서버와 경쟁합니다. 그런 다음, 스펙트럴-LDS 증류를 적용하여 이 예측기를 명시적인 순환 선형 동적 시스템으로 변환합니다. 주요 이론적 결과는 증류된 LDS의 평균 예측 오차가 지수적으로 작은 증류 항과, 최고의 옵서버의 루엔베르거 복잡도에 의해 제어되는 OSF 학습 항으로 분해된다는 것을 보여줍니다. 이 보장은 차원 의존성이 없으며, 비선형 시스템을 표현하는 데 필요한 잠재적 차원이 아닌, 옵서버의 복잡성에 따라 결정됩니다. 본 연구에서는 볼록 학습 후 검증 가능한 증류를 통해 비선형 동역학의 최적의 LDS 표현을 추출하는 최초의 완전한 검증 방법을 제시합니다. 선형 LDS 벤치마크 및 MuJoCo 행동 클론 문제에 대한 실험 결과, 학습 후 증류 단계를 거치는 방법이 직접적으로 학습된 기준 모델과 유사하거나 더 나은 성능의 간결한 LDS 예측기를 생성한다는 것을 보여줍니다.

Can nonlinear dynamical systems be learned through a compact linear state-space representation, without directly solving a non-convex system-identification problem? We give a provable pipeline for doing so. Starting from observations of an unknown nonlinear dynamical system, we first learn an implicit spectral predictor using Observation Spectral Filtering (OSF), a convex method that competes with the best linear observer for the system. We then apply spectral-to-LDS distillation to convert this predictor into an explicit recurrent linear dynamical system. Our main theorem shows that the average prediction error of the distilled LDS decomposes into an exponentially-small distillation term and the OSF learning term governed by the Luenberger complexity of the best observer. The guarantee is dimension-free: it depends on observer complexity rather than on the latent dimension needed to represent the nonlinear system. To our knowledge, this yields the first end-to-end provable method for extracting a best-in-hindsight LDS representation of nonlinear dynamics through convex learning followed by provable distillation. Experiments on linear LDS benchmarks and MuJoCo behavior cloning show that the train-then-distill pipeline produces compact LDS predictors that match or outperform directly trained baselines.