하이퍼볼릭 부즈만 신경망

Hyperbolic Busemann Neural Networks

하이퍼볼릭 공간은 기하급수적인 부피 증가 특성으로 인해 계층적 데이터와 트리 구조 데이터를 표현하는 데 자연스러운 기하학을 제공한다. 이러한 이점을 활용하기 위해 신경망에는 하이퍼볼릭 공간에서 직접 연산되는 본질적이고 효율적인 구성 요소가 필요하다. 본 연구에서는 신경망의 두 가지 핵심 구성 요소인 다항 로지스틱 회귀(MLR)와 완전 연결(FC) 계층을 부즈만(Busemann) 함수를 통해 하이퍼볼릭 공간으로 확장하여, 통합된 수학적 해석을 갖춘 부즈만 MLR(BMLR)과 부즈만 FC(BFC) 계층을 도출한다. BMLR은 압축적인 매개변수, 점과 호로스피어(horosphere) 간의 거리 해석, 배치 처리에 효율적인 연산 및 유클리드 극한(Euclidean limit)을 제공하며, BFC는 기존과 유사한 복잡도를 유지하면서 FC 및 활성화 계층을 일반화한다. 이미지 분류, 유전체 서열 학습, 노드 분류 및 링크 예측에 대한 실험을 통해 기존 하이퍼볼릭 계층에 비해 효과와 효율성이 향상되었음을 입증한다. 코드는 https://github.com/GitZH-Chen/HBNN 에서 확인할 수 있다.

Hyperbolic spaces provide a natural geometry for representing hierarchical and tree-structured data due to their exponential volume growth. To leverage these benefits, neural networks require intrinsic and efficient components that operate directly in hyperbolic space. In this work, we lift two core components of neural networks, Multinomial Logistic Regression (MLR) and Fully Connected (FC) layers, into hyperbolic space via Busemann functions, resulting in Busemann MLR (BMLR) and Busemann FC (BFC) layers with a unified mathematical interpretation. BMLR provides compact parameters, a point-to-horosphere distance interpretation, batch-efficient computation, and a Euclidean limit, while BFC generalizes FC and activation layers with comparable complexity. Experiments on image classification, genome sequence learning, node classification, and link prediction demonstrate improvements in effectiveness and efficiency over prior hyperbolic layers. The code is available at https://github.com/GitZH-Chen/HBNN.