의미론적 정보를 먼저 복원하여 더 나은 결과 도출: 3차원 MRI 재구성 및 교차 대비 합성 개선을 위한 향상된 잠재 공간 모델링

Recover Semantics First, Generate Better: Improved Latent Modeling for 3D MRI Reconstruction and Cross-Contrast Synthesis

다양한 대비(contrast)를 가진 자기 공명 영상(MRI)은 임상 진단에 유용한 보완 정보를 제공합니다. 그러나 모든 MRI 시퀀스를 획득하는 것은 종종 시간이 오래 걸리고 비용이 많이 듭니다. 최근 생성 모델은 이러한 문제를 해결하기 위해 사용 가능한 대비 정보로부터 누락된 대비를 추론하여 교차 대비 합성을 수행합니다. 그러나 3차원 MRI 합성에는 상당한 어려움이 있습니다. 데이터 크기가 매우 커서 픽셀 공간에서 직접적으로 처리하는 것은 계산적으로 비효율적입니다. 따라서 일반적인 접근 방식은 먼저 3차원 데이터를 잠재 공간으로 압축하고, 그 후 해당 공간에서 생성 모델을 학습시키는 것입니다. 기존의 압축 아키텍처는 다음과 같은 중요한 문제점을 가지고 있습니다. 즉, 장거리 해부학적 일관성을 충분히 유지하지 못하고, 임상적으로 의미 있는 정보를 손실하며, 과도하게 부드러운 재구성에 이끄는 최적화 목표를 사용합니다. 궁극적으로 이러한 단점들은 후속 생성 모델의 성능을 저해합니다. 본 연구에서는 3차원 MRI 재구성 및 교차 대비 합성을 위한 의미론 기반 잠재 공간 모델링 프레임워크를 제안합니다. 구체적으로, 우리는 전역 해부학적 의존성을 포착하여 일관된 볼륨 표현을 보장하는 Latent Harmonization Encoder (LHE)를 도입했습니다. 또한, 잠재 공간 압축 과정에서 의미론적 정보 손실을 완화하기 위해, 자기 지도 학습 기반의 '의미론적 가이드(semantic teacher)'로부터 고차원 정보를 주입하여 대비 인식 분리도를 향상시키는 Semantic Recovery Block (SRB)를 설계했습니다. 더불어, 진단적으로 중요한 고주파 구조를 적응적으로 보존하기 위한 Anatomy-aware Frequency Loss (AFL)을 제안합니다. 두 개의 공개된 다중 대비 MRI 데이터 세트에 대한 광범위한 실험 결과, 재구성 정확도 및 교차 대비 합성 품질이 꾸준히 향상되는 것을 확인했습니다. 저희 코드는 다음 링크에서 확인할 수 있습니다: https://github.com/script-Yang/RSF.

Multi-contrast magnetic resonance imaging (MRI) provides complementary information for clinical diagnosis. However, acquiring all MRI sequences is often time-consuming and costly. Recent generative models perform cross-contrast synthesis to address this issue by inferring absent contrasts from the available ones. Nevertheless, synthesizing 3D MRI presents significant challenges. Due to the massive volume sizes, operating directly in the pixel space is computationally prohibitive; therefore, a common approach is to first compress the 3D volumes into a latent space and subsequently train generative models in that space. We observe that existing compression architectures face several critical issues: they under-preserve long-range anatomical coherence, discard clinically meaningful semantics, and rely on optimization objectives that lead to over-smoothed reconstructions. Ultimately, these shortcomings compromise the performance of subsequent generative models. In this work, we propose a semantics-first latent modeling framework for 3D MRI reconstruction and cross-contrast synthesis. Specifically, we introduce a Latent Harmonization Encoder (LHE) to capture global anatomical dependencies, ensuring coherent volumetric representations. To mitigate semantic degradation during latent compression, we further design a Semantic Recovery Block (SRB) that injects high-level priors from a self-supervised semantic teacher, enhancing contrast-aware separability in the latent space. Additionally, we propose an Anatomy-aware Frequency Loss (AFL) to adaptively preserve diagnostically relevant high-frequency structures. Extensive experiments on two public multi-contrast MRI datasets demonstrate consistent improvements in reconstruction fidelity and cross-contrast synthesis quality. Our code is available at https://github.com/script-Yang/RSF.