단위 흥분 및 평활성 조건을 넘어서는 확률적 안장점 회피: 경로 기반 리아푸노프-페론 프레임워크

Stochastic Saddle Avoidance Beyond Unit Excitation and Smoothness: A Pathwise Lyapunov-Perron Framework

확률적 안장점 회피에서 단위 흥분(UE)은 흔히 사용되는 가정으로, 이는 확률 오차가 모든 방향에 걸쳐 기댓값 기준 양의 성분을 균일하게 가져야 한다는 것을 의미합니다. 이 조건은 엄격한 안장점으로의 수렴을 배제하는 직접적인 방법을 제공하지만, 실제 노이즈 구조를 지나치게 단순화하며 많은 확률적 최적화 환경과 일치하지 않습니다. 과파라미터화 모델이나 보간 모델에서는 정점에 가까워질수록 노이즈가 사라질 수 있습니다. 유한 합 문제에서는 확률적 경사 하강법의 노이즈가 저차원이며 데이터에 의존적인 부분 공간 안에 있을 수 있습니다. 이러한 (흔히 발생하는) 시나리오에서 UE는 자연스럽게 만족되지 않습니다. 본 논문에서는 UE 조건 없이 확률적 재귀에 대한 일반적인 거의 확실한 회피 정리를 증명합니다. 이 정리는 UE와 유사한 요구 사항을 검증 가능한 경로 기반 조건으로 대체합니다. 응용 분야에서 이러한 조건은 표준 i.i.d. 샘플링 하에서의 지역 평활성 및 유한 모멘트 가정, 또는 보충 없이 샘플링하는 유한 합 구조로부터 파생될 수 있습니다. 확률적으로 샘플링된 함수들이 일반적으로 고정점을 공유하지 않기 때문에, 결정론적 분석에 사용되는 유명한 중심-안정 매니폴드 논증은 직접적으로 적용될 수 없습니다. 대신, 경로 의존적인 변수 변환과 경로 기반 리아푸노프-페론을 이용한 증명 전략을 사용합니다. 응용 사례로, 확률적 미러 하강법(SGD 포함) 및 랜덤 셔플링에 대한 엄격한 안장점 회피를 얻습니다. 비평활 복합 목적 함수에 대해서는 근사적 확률적 경사 하강법 방법에 대한 회피 결과를 증명합니다. 이러한 통찰력을 적절한 반복 수렴 보장과 결합하면 원래 목적 함수의 지역 최소값으로의 수렴을 확립할 수 있습니다.

Unit excitation (UE) is a common assumption in stochastic saddle avoidance: the stochastic error must have a uniformly positive component along every direction, in expectation. This condition gives a direct way to rule out convergence to strict saddles, but it also oversimplifies the actual noise structure, and does not match many stochastic optimization regimes. In overparameterized or interpolation models, the noise may vanish near stationarity. In finite-sum problems, the stochastic gradient noise may lie in a low-dimensional, data-dependent subspace. In these (common) scenarios, UE is naturally not satisfied. In this paper, we prove an abstract almost sure avoidance theorem for stochastic recursions without UE. The theorem replaces UE-type requirements by verifiable pathwise conditions. In applications, these conditions follow, e.g., from local smoothness and finite-moment assumptions under standard i.i.d. sampling, or from the finite-sum structure under without-replacement sampling. Since the stochastically sampled maps generally do not share a fixed point, the celebrated center-stable manifold argument used in deterministic analyses is not directly applicable. Instead, we use a path-dependent change of variables together with a pathwise Lyapunov--Perron-based proof strategy. As applications, we obtain strict saddle avoidance for stochastic mirror descent (including SGD) and for random reshuffling. For nonsmooth composite objectives, we prove avoidance results for a proximal-type stochastic gradient method. Combining these insights with suitable iterate convergence guarantees, this allows establishing convergence to local minimizers of the original objective function.