FPSGen: BEV 기반의 교통 흐름을 활용한 유연한 포인트 클라우드 3D 장면 생성

FPSGen: Flexible Point Cloud Scene Generation with BEV-Supported Transport Flows

기존의 외부 환경 3D 장면 생성을 위한 포인트 기반 생성 방법은 주로 LiDAR 데이터에 의존적인 완성(completion) 작업에 초점을 맞춥니다. 학습 과정에서는 완전한 실제 장면을 바탕으로 노이즈를 추가하여 점 데이터를 생성하고, 추론 과정에서도 동일한 방식으로 부분적인 스캔 데이터에 노이즈를 추가합니다. 이러한 학습-추론 간의 불일치는 부분적인 스캔 데이터의 희소성 및 가시성 편향을 그대로 이어받아 원거리 영역은 희박하게 표현되고, 가려진 영역은 기하학적 정보가 부족해지는 문제를 야기합니다. 또한, 부분적인 스캔 데이터에 대한 의존성은 LiDAR 센서가 없을 때 또는 레이아웃 정보를 사용할 수 없는 경우 장면 생성을 제한합니다. 본 논문에서는 부분적인 스캔 데이터에 독립적으로 작동하는 포인트 소스를 생성하는 유연한 프레임워크인 FPSGen을 제안합니다. FPSGen은 먼저 활성 정보로부터 밀도, 높이 및 마스크 채널을 가진 탑-다운(bird's-eye-view, BEV) 사전 정보를 예측합니다. 이 밀도 맵에서 샘플링된 포인트는 BEV 기반의 포인트 소스를 형성하며, 이를 통해 조건 없는 생성과 다양한 조건 하에서의 생성이 가능합니다. 또한, 교사-학생 최적 수송(optimal transport) 방식을 사용하여 교사가 예측한 지점들을 활용하여 속도장을 학습하고, 이를 통해 더욱 직선적인 이동 경로를 유도합니다. FPSGen은 BEV 기반 포인트 소스 생성과 경로 정렬 수송을 통합하여 조건 없는 생성 및 다양한 조건 하에서의 유연한 장면 생성을 위한 통일된 프레임워크를 제공합니다. 광범위한 실험 결과는 FPSGen이 SemanticKITTI 데이터셋의 완성 작업에서 뛰어난 JSD 및 볼륨 IoU 성능을 달성했으며, 단일 포인트 수송 단계만으로도 우수한 성능을 유지한다는 것을 보여줍니다. 또한, KITTI-360 데이터셋에 대한 조건 없는 생성에서는 비교 대상 방법들 중 가장 높은 Coverage (COV)를 달성했습니다.

Existing point-based generative methods for outdoor scenes primarily focus on LiDAR-conditioned completion. During training, noisy point clouds are constructed by perturbing complete ground-truth scenes, whereas during inference, they are initialized by adding noise to duplicated partial scans. This train-inference mismatch inherits the sparsity and visibility bias of partial scans, leading to sparse distant regions and incomplete geometry in occluded areas. Moreover, the reliance on partial scans restricts generation when LiDAR observations are unavailable or replaced by layout cues. We present FPSGen, a flexible framework that constructs point sources independently of partial scans. FPSGen first predicts a bird's-eye-view (BEV) prior with density, height, and mask channels from the active cues. The density map is then sampled to form a BEV-supported point source, enabling both unconditional and conditioned initialization. A teacher-student approximate optimal transport scheme then uses teacher-predicted endpoints to learn a velocity field that induces straighter transport paths. By integrating BEV point source construction with path-straightening transport, FPSGen provides a unified framework for unconditional and flexible cue-conditioned scene generation. Extensive experiments show that FPSGen achieves state-of-the-art JSD and voxel IoU performance on SemanticKITTI completion while maintaining strong performance with a single point transport step. On KITTI-360 unconditional generation, it also achieves the best Coverage (COV) among the compared methods.