리만 기하학 기반 심층 학습: 모듈, 네트워크 및 기하 구조

Riemannian Deep Learning: Modules, Networks, and Geometries

다양한 종류의 표현에 대한 심층 신경망은 많은 관심을 받고 있지만, 많은 기본적인 구성 요소는 특정 다양체에 종속되거나, 유클리드 공간 근사를 사용하거나, 비용이 많이 들고 수치적으로 불안정한 기하학적 연산을 필요로 하는 경우가 많습니다. 본 논문은 재사용 가능한 신경 모듈, 다양체 특화 네트워크 아키텍처 및 기본 기하 구조 설계라는 세 가지 상호 보완적인 관점에서 리만 기하학 기반 심층 학습을 위한 통일된 프레임워크를 개발합니다. 본 연구는 유클리드 공간 및 개별 다양체에서 사용되는 배치 정규화를 일반화하여 광범위한 리 그룹 및 자이로 그룹에 적용하고, 다항 로지스틱 회귀를 유클리드 공간에서 SPD 다양체로 확장한 다음, 일반적인 리만 다양체로 확장합니다. 또한 하이퍼볼릭 공간의 제약 없는 모델, 부제만 기하 기반의 하이퍼볼릭 학습 및 완전 순위 상관 행렬을 포함하는 여러 중요한 기하학적 표현에 대한 신경망을 개발합니다. 마지막으로 SPD 다양체에 적응적이고 계산 효율적인 리만 메트릭을 도입하며, 여기에는 학습 가능한 로그-유클리드 기하 구조와 빠르고 안정적인 콜레스키 기반 기하 구조가 포함됩니다. 제안된 방법은 이론적 분석을 통해 뒷받침되며, 수치 실험 및 컴퓨터 비전, 신호 처리, 그래프 학습 및 유전체학 분야에서의 응용을 통해 검증되었습니다.

Deep neural networks on manifold-valued representations have attracted growing interest, but many basic components remain tied to specific manifolds, rely on Euclidean approximations, or require costly and numerically fragile geometric operations. This thesis develops a unified framework for Riemannian deep learning from three complementary perspectives: reusable neural modules, manifold-specific network architectures, and the design of underlying geometries. It generalizes batch normalization from Euclidean spaces and individual manifolds to broad classes of Lie groups and gyrogroups, and extends multinomial logistic regression from Euclidean space to SPD manifolds and then to general Riemannian manifolds. It further develops neural networks for several important geometric representations, including an unconstrained model of hyperbolic space, Busemann-based hyperbolic learning, and full-rank correlation matrices. Finally, it introduces adaptive and computationally efficient Riemannian metrics on SPD manifolds, including learnable Log-Euclidean geometries and fast, stable Cholesky-based geometries. The proposed methods are supported by theoretical analysis and validated through numerical experiments and applications in vision, signal processing, graph learning, and genomics.