가우시안 표현을 이용한 자기 지도 학습 기반 2D 슬라이스-3D 볼륨 복원 기술: 태아 MRI 적용

Self-Supervised Slice-to-Volume Reconstruction with Gaussian Representations for Fetal MRI

태아 MRI 영상에서 발생하는 움직임 왜곡 문제를 해결하기 위해, 2D 슬라이스를 기반으로 3D 볼륨 영상을 복원하는 것은 매우 중요하지만 어려운 과제입니다. 기존의 슬라이스-볼륨 복원(SVR) 방법은 시간이 오래 걸리고, 복원을 위해 여러 방향의 슬라이스 스택이 필요합니다. 최근 학습 기반 SVR 방법은 추론 시간을 단축했지만, 학습 과정에서 정답 데이터에 크게 의존하며, 실제 환경에서는 이러한 정답 데이터를 얻기 어렵다는 문제가 있습니다. 이러한 문제점을 해결하기 위해, 본 연구에서는 자기 지도 학습 기반의 슬라이스-볼륨 복원 프레임워크인 GaussianSVR을 제안합니다. GaussianSVR은 3D 가우시안 표현을 사용하여 고품질의 복원을 달성하며, 시뮬레이션된 슬라이스 획득 모델을 활용하여 자기 지도 학습을 가능하게 함으로써, 정답 데이터가 없는 환경에서도 학습이 가능합니다. 또한, 정확도와 효율성을 동시에 향상시키기 위해, 다양한 해상도 수준에서 가우시안 파라미터와 공간 변환을 동시에 최적화하는 다중 해상도 학습 전략을 도입했습니다. 실험 결과, GaussianSVR은 기존 방법보다 태아 MRI 볼륨 복원 성능이 우수함을 확인했습니다. 논문 채택 시 코드 공개 예정입니다.

Reconstructing 3D fetal MR volumes from motion-corrupted stacks of 2D slices is a crucial and challenging task. Conventional slice-to-volume reconstruction (SVR) methods are time-consuming and require multiple orthogonal stacks for reconstruction. While learning-based SVR approaches have significantly reduced the time required at the inference stage, they heavily rely on ground truth information for training, which is inaccessible in practice. To address these challenges, we propose GaussianSVR, a self-supervised framework for slice-to-volume reconstruction. GaussianSVR represents the target volume using 3D Gaussian representations to achieve high-fidelity reconstruction. It leverages a simulated forward slice acquisition model to enable self-supervised training, alleviating the need for ground-truth volumes. Furthermore, to enhance both accuracy and efficiency, we introduce a multi-resolution training strategy that jointly optimizes Gaussian parameters and spatial transformations across different resolution levels. Experiments show that GaussianSVR outperforms the baseline methods on fetal MR volumetric reconstruction. Code will be available upon acceptance.