POCI-Diff: 3D 레이아웃 유도 확산을 이용한 일관되고 상호작용적인 객체 배치

POCI-Diff: Position Objects Consistently and Interactively with 3D-Layout Guided Diffusion

우리는 일관되고 상호작용적인 3D 레이아웃 제어 및 편집 기능을 갖춘 텍스트-이미지(T2I) 생성을 위한 확산 기반 접근 방식을 제안한다. 기존 방법들은 2D 단서나 반복적인 복사-워핑-붙여넣기 전략을 사용하여 공간적 일치성을 개선했으나, 종종 객체의 기하학적 구조를 왜곡하고 편집 과정에서 일관성을 유지하지 못하는 문제가 있다. 이러한 한계를 해결하기 위해, 우리는 통합된 확산 과정 내에서 3D 기하학적 제약 조건과 인스턴스 수준의 의미적 결합을 동시에 적용하는 새로운 공식화인 POCI-Diff(일관되고 상호작용적인 객체 배치) 프레임워크를 소개한다. 우리의 방법은 블렌디드 잠재 확산(Blended Latent Diffusion)을 통해 개별 텍스트 설명을 특정 3D 바운딩 박스에 결합함으로써 명시적인 객체별 의미 제어를 가능하게 하며, 이를 통해 복잡한 다중 객체 장면을 단 한 번에 합성할 수 있다. 더 나아가 우리는 픽셀 변형 대신 재생성 방식을 통해 객체 삽입, 제거 및 변환을 지원하는 워핑 없는(warping-free) 생성적 편집 파이프라인을 제안한다. 편집 전반에 걸쳐 객체의 정체성과 일관성을 보존하기 위해, 우리는 IP-Adapter를 사용하여 참조 이미지에 기반해 확산 과정을 조건화한다. 이를 통해 전역적인 장면의 조화를 유지하면서 상호작용적인 3D 편집 과정 동안 일관된 객체 외관을 구현한다. 실험 결과, POCI-Diff는 지정된 3D 레이아웃 및 편집 내용과 일치하는 고품질 이미지를 생성하며, 워핑으로 인한 기하학적 아티팩트를 제거하는 동시에 시각적 충실도와 레이아웃 준수 측면에서 최신 방법들을 능가함을 입증하였다.

We propose a diffusion-based approach for Text-to-Image (T2I) generation with consistent and interactive 3D layout control and editing. While prior methods improve spatial adherence using 2D cues or iterative copy-warp-paste strategies, they often distort object geometry and fail to preserve consistency across edits. To address these limitations, we introduce a framework for Positioning Objects Consistently and Interactively (POCI-Diff), a novel formulation for jointly enforcing 3D geometric constraints and instance-level semantic binding within a unified diffusion process. Our method enables explicit per-object semantic control by binding individual text descriptions to specific 3D bounding boxes through Blended Latent Diffusion, allowing one-shot synthesis of complex multi-object scenes. We further propose a warping-free generative editing pipeline that supports object insertion, removal, and transformation via regeneration rather than pixel deformation. To preserve object identity and consistency across edits, we condition the diffusion process on reference images using IP-Adapter, enabling coherent object appearance throughout interactive 3D editing while maintaining global scene coherence. Experimental results demonstrate that POCI-Diff produces high-quality images consistent with the specified 3D layouts and edits, outperforming state-of-the-art methods in both visual fidelity and layout adherence while eliminating warping-induced geometric artifacts.