LION: 멀티모달 속성 그래프 학습을 위한 클리포드 신경 패러다임

LION: A Clifford Neural Paradigm for Multimodal-Attributed Graph Learning

최근 멀티모달 도메인의 급속한 발전은 그래프 머신러닝(ML)에서 텍스트 속성 그래프로부터 멀티모달 속성 그래프로의 전환이라는 데이터 중심의 패러다임 변화를 이끌었습니다. 이러한 발전은 데이터 표현력을 크게 향상시키고 모달리티 지향 작업과 같은 그래프 다운스트림 작업의 범위를 확장하여 그래프 ML의 실용성을 높입니다. 그러나 현재의 신경 패러다임에는 다음과 같은 한계가 존재합니다. (1) 모달리티 정렬에서의 맥락 무시: 대부분의 기존 방법은 위상 제약이 있거나 모달리티에 특화된 연산자를 토크나이저로 채택합니다. 이러한 정렬기는 필연적으로 그래프 맥락을 간과하고 모달리티 상호작용을 저해하여 정렬을 최적화하지 못합니다. (2) 모달리티 융합에서의 적응성 부족: 대부분의 기존 방법은 2-모달리티 그래프를 위한 단순한 변형에 불과하며, 융합 시 위상 사전 정보(topology priors)를 갖춘 정렬된 토큰을 충분히 활용하지 못해 일반화 부족과 성능 저하로 이어집니다. 이러한 문제를 해결하기 위해, 우리는 클리포드 대수(Clifford algebra)와 분리형 그래프 신경 패러다임(즉, 전파 후 집계)을 기반으로 멀티모달 속성 그래프에서 '정렬 후 융합'을 구현하는 LION(cLIffOrd Neural paradigm)을 제안합니다. 구체적으로, 먼저 클리포드 대수에 기반한 모달리티 인식 기하학적 매니폴드를 구축합니다. 이 기하학적으로 유도된 고차 그래프 전파는 모달리티 상호작용을 효율적으로 달성하여 모달리티 정렬을 촉진합니다. 다음으로, 정렬된 토큰의 기하학적 등급 특성을 기반으로 적응형 홀로그래픽 집계(adaptive holographic aggregation)를 제안합니다. 이 모듈은 기하학적 등급의 에너지와 스케일을 학습 가능한 파라미터와 통합하여 모달리티 융합을 개선합니다. 9개 데이터셋에 대한 광범위한 실험 결과, LION은 3가지 그래프 작업 및 3가지 모달리티 다운스트림 작업 전반에서 최신(SOTA) 기준 모델들을 크게 능가하는 것으로 나타났습니다.

Recently, the rapid advancement of multimodal domains has driven a data-centric paradigm shift in graph ML, transitioning from text-attributed to multimodal-attributed graphs. This advancement significantly enhances data representation and expands the scope of graph downstream tasks, such as modality-oriented tasks, thereby improving the practical utility of graph ML. Despite its promise, limitations exist in the current neural paradigms: (1) Neglect Context in Modality Alignment: Most existing methods adopt topology-constrained or modality-specific operators as tokenizers. These aligners inevitably neglect graph context and inhibit modality interaction, resulting in suboptimal alignment. (2) Lack of Adaptation in Modality Fusion: Most existing methods are simple adaptations for 2-modality graphs and fail to adequately exploit aligned tokens equipped with topology priors during fusion, leading to poor generalizability and performance degradation. To address the above issues, we propose LION (c\underline{LI}ff\underline{O}rd \underline{N}eural paradigm) based on the Clifford algebra and decoupled graph neural paradigm (i.e., propagation-then-aggregation) to implement alignment-then-fusion in multimodal-attributed graphs. Specifically, we first construct a modality-aware geometric manifold grounded in Clifford algebra. This geometric-induced high-order graph propagation efficiently achieves modality interaction, facilitating modality alignment. Then, based on the geometric grade properties of aligned tokens, we propose adaptive holographic aggregation. This module integrates the energy and scale of geometric grades with learnable parameters to improve modality fusion. Extensive experiments on 9 datasets demonstrate that LION significantly outperforms SOTA baselines across 3 graph and 3 modality downstream tasks.