PolyLayout: 다중 방의 맨해튼 스타일 레이아웃 추정

PolyLayout: Multi-room Manhattan Layout Estimation

다중 시점 이미지로부터 실내 공간의 레이아웃을 추정하는 것은 실내 장면 이해를 위한 핵심적인 과제입니다. 기존 방법들은 종종 새로운 데이터셋에 대한 일반화 성능이 낮거나, 방의 형태나 카메라 구성에 대한 제한적인 기하학적 가정에 의해 제약됩니다. 또한 대부분의 방법은 각 방을 독립적으로 추정하여 건물 구조 전체에서 나타나는 주요 방향, 지면 평면 또는 천장 높이와 같은 공유 정보를 활용하지 못합니다. 본 논문에서는 PolyLayout이라는 다중 방 레이아웃 추정 방법을 제안합니다. PolyLayout은 방의 레이아웃을 맨해튼 스타일 3차원 폴리곤으로 표현하고, 여러 방에 걸쳐 이 폴리곤들을 동시에 최적화합니다. 최적화 목표는 강력한 사전 학습된 시각 특징 위에 구축된 신경망에 의해 예측되며, 출력되는 방 레이아웃에 대한 지도 학습을 통해 전체적으로 학습됩니다. 동시에, 카메라 투영 및 폴리곤 업데이트는 명시적이고 모델 기반으로 처리됩니다. 이러한 학습된 점수와 기하학적 구조의 분리는 새로운 데이터셋과 카메라 파라미터에 대한 일반화 성능을 향상시킵니다. 최적화 과정에서 PolyLayout은 반복적인 벽 분할 및 병합 작업을 통해 폴리곤의 토폴로지를 적응적으로 개선하며, 동시에 여러 방에 걸쳐 구조적 정보를 함께 활용합니다. 기존 데이터셋에 레이아웃 주석을 추가하여 새로운 다중 시점 다중 방 레이아웃 벤치마크를 제시하고, 실험 결과 PolyLayout이 정확도와 안정성 측면에서 기존 접근 방식보다 우수한 성능을 보이는 것을 확인했습니다. 프로젝트 페이지: https://ghanning.github.io/PolyLayout

Estimating room layouts from multi-view imagery is a core task for indoor scene understanding. Existing methods are typically limited either by poor generalization to new datasets or restrictive geometric assumptions of the room shape or camera configuration. Most also estimate rooms independently, failing to exploit shared building structure such as dominant directions, ground plane or ceiling height. We propose PolyLayout, a multi-room layout estimation method that parameterizes room layouts as Manhattan 3D polygons and optimizes them jointly across multiple rooms. The optimization objective is predicted by a neural network on top of robust pre-trained visual features and trained end-to-end with supervision only on output room layouts. At the same time, camera projection and polygon updates remain explicit and model-based. This separation between learned scoring and geometry improves generalization to new datasets and camera parameters. During optimization, PolyLayout adaptively refines the polygon topology through iterative wall split and merge operations while jointly utilizing structural cues across rooms. We introduce two new multi-view multi-room layout benchmarks by providing layout annotations to existing datasets, and experiments show that PolyLayout outperforms prior approaches, both in terms of accuracy and robustness. Project page: https://ghanning.github.io/PolyLayout