차 disparity 및 표면 법선 추정을 위한 통합 스테레오 기하학 추정 프레임워크

A Unified Stereo Geometry Estimation Framework for Disparity and Surface Normal

스테레오 매칭과 표면 법선 추정은 3D 비전 분야의 기본적인 과제입니다. 그러나 기존의 순방향 스테레오 방법은 여전히 어려운 영역에서 신뢰할 수 있는 예측을 생성하는 데 어려움을 겪으며, 이는 주로 강력한 기하학적 사전 지식의 부족 때문입니다. 본 논문에서는 강력한 확산 기반 사전 지식을 활용하여 disparity와 표면 법선을 동시에 예측하는 통합 스테레오 기하학 추정 프레임워크인 GeoStereo를 제안합니다. 구체적으로, GeoStereo는 순방향 스테레오 매칭 파이프라인과 확산 기반의 법선 추정 브랜치를 결합합니다. 두 작업 간의 효과적인 상호 작용을 가능하게 하기 위해, disparity-to-normal 초기화 전략을 도입하고, 확산 프로세스를 위한 왼쪽 뷰로의 워핑 조건을 구성했습니다. 이러한 결합된 설계는 확산 브랜치가 어려운 영역에서 disparity 추정을 향상시키는 강력한 구조적 사전 지식을 제공하고, 순방향 브랜치는 정확한 법선 예측을 위한 신뢰할 수 있는 기하학적 지침을 제공합니다. 광범위한 실험 결과, GeoStereo는 저조도 환경, 고반사 표면 및 투명 물체와 같은 어려운 시나리오에서도 안정적으로 작동하는 것으로 나타났습니다. 제로샷 설정에서 GeoStereo는 KITTI 및 NYUv2를 포함한 여러 벤치마크에서 Rank-1 disparity 추정 성능을 달성했으며, iBims-1 및 ScanNet과 같은 많은 실제 실내 벤치마크에서 최상의 법선 추정 정확도를 제공합니다. 프로젝트 페이지: https://qz-wei.github.io/GeoStereo.github.io/

Stereo matching and surface normal estimation are fundamental tasks in 3D vision. However, existing feed-forward stereo methods still struggle to produce reliable predictions in challenging regions, mainly due to the lack of strong geometric priors. In this paper, we propose $\textbf{GeoStereo}$, a unified stereo geometry estimation framework that leverages powerful diffusion priors to jointly predict disparity and surface normals. Specifically, GeoStereo couples a feed-forward stereo matching pipeline with a diffusion-based normal estimation branch. To enable effective interaction between the two tasks, we introduce a disparity to normal initialization strategy and construct a warp to left-view condition for the diffusion process. This coupled design allows the diffusion branch to provide strong structural priors that enhance disparity estimation in ill-posed regions, while the feed-forward branch offers reliable geometric guidance for accurate normal prediction. Extensive experiments show that GeoStereo performs reliably in challenging scenarios, including low-light environments, highly reflective surfaces, and transparent objects. Under zero-shot settings, it achieves Rank-1 disparity estimation on multiple benchmarks, including KITTI and NYUv2, and delivers the best normal estimation accuracy on many real indoor benchmarks, such as iBims-1 and ScanNet. Project page: https://qz-wei.github.io/GeoStereo.github.io/