RayLift: 3D 기하학적 사전 정보를 활용한 상호 보완적인 광선 기반 증거를 통해 의미 있는 장면 완성

RayLift: Lifting Complementary Ray-Wise Evidence with 3D Geometry Priors for Semantic Scene Completion

카메라 기반의 3차원 의미 있는 장면 완성(SSC)은 자율 주행 및 로봇 공학 분야에서 포괄적인 장면 이해를 제공합니다. 그러나 기존 방법들은 종종 스테레오 깊이 추정치를 결정적인 기하학적 제약 조건으로 취급하여, 깊이 불확실성과 지역적인 대응 오류가 3차원 보폭 표현에 직접적으로 전달되는 문제가 있습니다. 이러한 문제를 해결하기 위해, 우리는 스테레오 기하학 정보를 측정 기준으로 사용하면서 상호 보완적인 광선 증거를 통합하여 신뢰할 수 있는 3차원 구조를 적응적으로 복원하는 프레임워크인 RayLift를 제안합니다. RayLift는 먼저, 고정된 3차원 비전 기반 모델로부터 기하학 정보를 고려한 사전 지식을 추출하는 Complementary Context Encoder를 사용하여 장면 문맥을 풍부하게 합니다. 그런 다음, Depth Ray Evidence Lifter 모듈은 기하학적 불일치성, 깊이 신뢰도 및 공간적 불확실성을 함께 모델링하여 각 카메라 광선을 따라 후보 표면 위치를 적응적으로 샘플링하고 가중치를 부여합니다. 마지막으로, Semantic-Aware Voxel Integrator는 생성된 광선 증거를 보폭 특징에 주입하며, 이 과정에서 보폭의 공간적 지지를 명시적으로 모델링합니다. SemanticKITTI 및 SSCBench-KITTI-360 데이터셋에서의 광범위한 실험 결과, RayLift는 경쟁력 있는 성능을 달성하며 기존 방법들보다 일관되게 우수한 성능을 보이는 것을 확인했습니다.

Camera-based 3D semantic scene completion (SSC) provides comprehensive scene understanding for autonomous driving and robotics. However, existing methods often treat stereo depth estimates as deterministic geometric constraints, causing depth uncertainty and local correspondence errors to propagate directly into voxel representations. To address this issue, we propose RayLift, a framework that uses stereo geometry as a metric reference while incorporating complementary ray evidence to recover reliable 3D structures adaptively. RayLift first employs a Complementary Context Encoder that extracts geometry-aware priors from a frozen 3D vision foundation model, thereby enriching the scene context. It then introduces a Depth Ray Evidence Lifter module that jointly models geometric dissimilarity, depth confidence, and spatial uncertainty to adaptively sample and weight candidate surface locations along each camera ray. Finally, a Semantic-Aware Voxel Integrator injects the resulting ray evidence into voxel features by explicitly modeling their spatial support. Extensive experiments on SemanticKITTI and SSCBench-KITTI-360 demonstrate that RayLift achieves competitive performance and consistently outperforms existing methods.