시간 변화에 따른 암묵적 신경 볼륨 데이터의 효율적인 쿼리 기반 확률적 볼륨 렌더링 프레임워크

A Query-Efficient Stochastic Volume Rendering Framework for Time-Varying Implicit Neural Volumes

시간 변화가 있는 암묵적 신경 표현(INRs)은 과학적 볼륨 데이터를 간결하게 표현하는 방법이며, 특히 동적 X선 컴퓨터 단층 촬영(CT)과 같은 방식에서는 데이터 표현의 가장 실용적인 방법인 경우가 많습니다. 그러나 INR 렌더링은 저렴한 메모리 접근을 신경망 추론으로 대체하기 때문에 어려움이 있으며, 이는 성능 저하를 초래합니다. 따라서 밀집 샘플링을 사용하는 레이 마칭과 같은 기존 볼륨 렌더링 방식은 종종 비현실적입니다. 리샘플링, 캐싱 및 재학습은 이러한 비용을 줄일 수 있지만, 편리성과 정확성을 희생하며 시간 변화 데이터의 경우 실용성이 떨어집니다. 우리는 델타 추적 기반의 효율적인 쿼리 시스템을 사용한 확률적 볼륨 렌더링 프레임워크를 통해 이러한 문제를 해결합니다. 당사의 시스템은 이종 병렬 처리를 활용하는 4단계 파이프라인을 사용하여, 레이 트레이싱 코어를 탐색에, 텐서 코어를 일괄 신경망 평가에 사용합니다. 또한, 레이 예산 및 쿼리 제거 전략을 통해 INR 쿼리 수를 줄여 프레임당 성능을 향상시킵니다. 당사의 렌더러를 사용하면 많은 시간 변화 데이터의 INRs를 원래 표현에서 직접 렌더링할 수 있습니다. 시스템은 RTX 4090 GPU에서 1024x1024 해상도로 약 30-40 FPS의 성능을 달성하며, 고품질 이미지를 생성합니다. 또한, 시스템은 연속 영역의 실시간 시각화를 가능하게 하며, 타임스탬프 업데이트는 약 1-2ms가 소요됩니다.

Time-varying implicit neural representations (INRs) provide a compact representation of scientific volumes and, for modalities such as dynamic X-ray computed tomography (CT), are often the only practical way to represent the data. However, interactive volume rendering of INRs is challenging, as cheap memory lookups are replaced by expensive neural inferences, hindering the performance. Therefore, conventional volume rendering methods such as ray marching with dense sampling are often impractical. While resampling, caching, and retraining can mitigate this cost, they compromise convenience and accuracy and become impractical for time-varying data. We tackle these challenges using a query-efficient stochastic volume rendering framework based on delta tracking. Our system employs a four-stage pipeline that exploits heterogeneous parallelism, using ray tracing cores for traversal and tensor cores for batched neural evaluation. Furthermore, we present strategies to reduce INR queries via ray budgeting and query pruning, thereby increasing per-frame performance. Using our renderer, many time-varying INRs can be rendered directly from their original representation. The system achieves ~30-40 FPS at 1024x1024 resolution on an RTX 4090 GPU and converges to high-fidelity images. Moreover, the system enables interactive temporal exploration of the continuous domain, with timestep updates taking approximately 1-2 ms.