UniQueR: 통합된 쿼리 기반 순방향 3D 재구성

UniQueR: Unified Query-based Feedforward 3D Reconstruction

본 논문에서는 비정렬된 이미지로부터 효율적이고 정확한 3D 재구를 위한 통합된 쿼리 기반 순방향 프레임워크인 UniQueR을 제시합니다. 기존의 순방향 모델(예: DUSt3R, VGGT, AnySplat)은 일반적으로 픽셀 단위의 포인트 맵 또는 픽셀 정렬된 가우시안을 예측하는데, 이는 근본적으로 2.5차원이며 보이는 표면에만 제한됩니다. 반면, UniQueR은 재구를 희소한 3D 쿼리 추론 문제로 정의합니다. 우리의 모델은 3D 앵커 포인트를 학습하며, 이들은 명시적인 기하학적 쿼리 역할을 수행하여 네트워크가 단일 순방향 과정에서 장면 구조, 즉 가려진 영역의 기하학적 정보까지 추론할 수 있도록 합니다. 각 쿼리는 공간적 및 외관적 사전 정보를 글로벌 3D 공간에 직접 인코딩하며(프레임별 카메라 공간이 아닌), 미분 가능한 렌더링을 위한 3D 가우시안 집합을 생성합니다. UniQueR은 다중 뷰 특징에 대한 통합된 쿼리 상호 작용과 분리된 크로스 어텐션 설계를 활용하여 뛰어난 기하학적 표현력을 달성하는 동시에 메모리와 계산 비용을 크게 줄입니다. Mip-NeRF 360 및 VR-NeRF 데이터셋에 대한 실험 결과, UniQueR은 렌더링 품질 및 기하학적 정확성 측면에서 최첨단 순방향 방법보다 우수하며, 밀집형 대안보다 훨씬 적은 수의 원시 데이터를 사용합니다.

We present UniQueR, a unified query-based feedforward framework for efficient and accurate 3D reconstruction from unposed images. Existing feedforward models such as DUSt3R, VGGT, and AnySplat typically predict per-pixel point maps or pixel-aligned Gaussians, which remain fundamentally 2.5D and limited to visible surfaces. In contrast, UniQueR formulates reconstruction as a sparse 3D query inference problem. Our model learns a compact set of 3D anchor points that act as explicit geometric queries, enabling the network to infer scene structure, including geometry in occluded regions--in a single forward pass. Each query encodes spatial and appearance priors directly in global 3D space (instead of per-frame camera space) and spawns a set of 3D Gaussians for differentiable rendering. By leveraging unified query interactions across multi-view features and a decoupled cross-attention design, UniQueR achieves strong geometric expressiveness while substantially reducing memory and computational cost. Experiments on Mip-NeRF 360 and VR-NeRF demonstrate that UniQueR surpasses state-of-the-art feedforward methods in both rendering quality and geometric accuracy, using an order of magnitude fewer primitives than dense alternatives.