내재적 로렌츠 신경망

Intrinsic Lorentz Neural Network

실제 데이터는 종종 잠재적인 계층적 구조를 가지며, 이는 하이퍼볼릭 기하학을 통해 자연스럽게 표현될 수 있습니다. 최근의 하이퍼볼릭 신경망은 유망한 결과를 보여주었지만, 많은 기존 아키텍처는 여전히 부분적으로 내재성을 가지며, 유클리드 연산을 하이퍼볼릭 연산과 혼합하거나 외부 매개변수화를 사용합니다. 이를 해결하기 위해, 본 논문에서는 모든 연산을 로렌츠 모델 내에서 수행하는 완전 내재적 하이퍼볼릭 아키텍처인 extit{내재적 로렌츠 신경망 (ILNN)}을 제안합니다. ILNN의 핵심은 전통적인 유클리드 어핀 로짓을 특징 벡터에서 학습된 로렌츠 초평면에 대한 닫힌 형식의 하이퍼볼릭 거리로 대체하는 새로운 extit{점-초평면} 완전 연결 레이어 (FC)입니다. 이를 통해 결과적인 기하학적 결정 함수가 고유한 곡률을 준수하도록 합니다. 이 핵심 레이어 주위에는 다음과 같은 내재적 모듈을 설계했습니다. GyroLBN은 자이로-센트링과 자이로-스케일링을 결합한 로렌츠 배치 정규화이며, LBN 및 GyroBN보다 일관되게 뛰어난 성능을 보이며 학습 시간을 단축합니다. 또한, FC 레이어 출력에 자이로-적분 편향을 추가하고, 특징 블록 간의 예상 로그 반지름을 감마 함수 기반 스케일을 통해 정렬하는 로렌츠 패치 연결 연산자, 그리고 로렌츠 드롭아웃 레이어를 제안합니다. CIFAR-10/100 데이터셋과 두 가지 유전체 벤치마크 (TEB 및 GUE)에 대한 광범위한 실험 결과, ILNN이 하이퍼볼릭 모델 중에서 최첨단 성능과 계산 비용을 달성하며, 강력한 유클리드 기준 모델보다 일관되게 우수한 성능을 보임을 보여줍니다. 코드의 URL은 [https://github.com/Longchentong/ILNN](https://github.com/Longchentong/ILNN) 입니다.

Real-world data frequently exhibit latent hierarchical structures, which can be naturally represented by hyperbolic geometry. Although recent hyperbolic neural networks have demonstrated promising results, many existing architectures remain partially intrinsic, mixing Euclidean operations with hyperbolic ones or relying on extrinsic parameterizations. To address it, we propose the \emph{Intrinsic Lorentz Neural Network} (ILNN), a fully intrinsic hyperbolic architecture that conducts all computations within the Lorentz model. At its core, the network introduces a novel \emph{point-to-hyperplane} fully connected layer (FC), replacing traditional Euclidean affine logits with closed-form hyperbolic distances from features to learned Lorentz hyperplanes, thereby ensuring that the resulting geometric decision functions respect the inherent curvature. Around this fundamental layer, we design intrinsic modules: GyroLBN, a Lorentz batch normalization that couples gyro-centering with gyro-scaling, consistently outperforming both LBN and GyroBN while reducing training time. We additionally proposed a gyro-additive bias for the FC output, a Lorentz patch-concatenation operator that aligns the expected log-radius across feature blocks via a digamma-based scale, and a Lorentz dropout layer. Extensive experiments conducted on CIFAR-10/100 and two genomic benchmarks (TEB and GUE) illustrate that ILNN achieves state-of-the-art performance and computational cost among hyperbolic models and consistently surpasses strong Euclidean baselines. The code is available at \href{https://github.com/Longchentong/ILNN}{\textcolor{magenta}{this url}}.