고품질 원시 기반 신경망 재구성을 위한 뉴럴 하모닉 텍스처

Neural Harmonic Textures for High-Quality Primitive Based Neural Reconstruction

최근 3D 가우시안 스플래팅과 같은 원시 기반 방법이 새로운 시점 합성 및 관련 재구성 작업에서 최첨단 기술로 자리 잡았습니다. 이러한 표현 방식은 신경망 필드에 비해 더 유연하고 적응성이 뛰어나며, 대규모 장면에서도 더 잘 작동합니다. 그러나 개별 원시의 표현력 제한으로 인해 고주파 디테일을 모델링하는 데 어려움이 있습니다. 본 논문에서는 뉴럴 하모닉 텍스처(Neural Harmonic Textures)라는 신경망 표현 방식을 제안합니다. 이 방식은 각 원시 주변의 가상 구조체에 잠재적 특징 벡터를 연결합니다. 이러한 특징은 레이(ray)와 원시가 교차하는 지점에서 보간되며, 푸리에 분석에서 영감을 받아 보간된 특징에 주기적인 활성화 함수를 적용하여 알파 블렌딩을 조화 성분의 가중 합으로 변환합니다. 결과 신호는 작은 신경망을 사용하여 단일 단계로 디코딩되며, 이를 통해 계산 비용을 크게 줄일 수 있습니다. 뉴럴 하모닉 텍스처는 실시간 새로운 시점 합성에서 최첨단 결과를 제공하며, 원시 기반 및 신경망 필드 기반 재구성 사이의 격차를 해소합니다. 본 방법은 3DGUT, Triangle Splatting, 2DGS와 같은 기존의 원시 기반 파이프라인에 원활하게 통합될 수 있습니다. 또한, 2D 이미지 피팅 및 의미론적 재구성과 같은 다양한 응용 분야에서 본 방법의 일반성을 보여줍니다.

Primitive-based methods such as 3D Gaussian Splatting have recently become the state-of-the-art for novel-view synthesis and related reconstruction tasks. Compared to neural fields, these representations are more flexible, adaptive, and scale better to large scenes. However, the limited expressivity of individual primitives makes modeling high-frequency detail challenging. We introduce Neural Harmonic Textures, a neural representation approach that anchors latent feature vectors on a virtual scaffold surrounding each primitive. These features are interpolated within the primitive at ray intersection points. Inspired by Fourier analysis, we apply periodic activations to the interpolated features, turning alpha blending into a weighted sum of harmonic components. The resulting signal is then decoded in a single deferred pass using a small neural network, significantly reducing computational cost. Neural Harmonic Textures yield state-of-the-art results in real-time novel view synthesis while bridging the gap between primitive- and neural-field-based reconstruction. Our method integrates seamlessly into existing primitive-based pipelines such as 3DGUT, Triangle Splatting, and 2DGS. We further demonstrate its generality with applications to 2D image fitting and semantic reconstruction.