개념 임베딩 맞춤화를 통한 전경 조건부 이미지 확장(Out-Painting)에서 객체와 배경의 정렬 개선

Improving Text-Instance Alignment Of Foreground Conditioned Out-Painting Via Customized Concept Embedding

상품을 전시하기 위해 판매자들은 고품질 이미지를 제작하는 데 상당한 비용이 발생합니다. 전경 조건부 이미지 확장(FCO)은 이러한 요구를 충족하며, 사용자가 텍스트 프롬프트를 조정하여 원하는 배경을 생성하고 비용을 절감할 수 있도록 합니다. 그러나 기존의 텍스트 기반 FCO 방법은 종종 결과물에서 심각한 결함을 보입니다. 가장 큰 문제는 합성된 배경에 전경 객체와 동일한 의미를 가진 영역(아티팩트)이 나타나는 것입니다. 이러한 아티팩트는 객체의 중요성을 감소시키고 이미지 품질을 저하시킵니다. 우리는 이 문제를 주어진 객체와 텍스트에서 파생된 개념 임베딩 간의 불일치로 인한 것으로 판단했습니다. 이를 해결하기 위해, 맞춤형 개념 임베딩 확산(CCE-Diffusion) 프레임워크를 제안합니다. 핵심 구성 요소는 일반적인 명사 의미론과 특정 시각적 객체 간의 격차를 해소하는 CCE 모듈입니다. 객체 인지 손실은 이 모듈의 최적화를 안내하며, 의미 보존 프롬프트 템플릿은 맞춤형 임베딩이 프롬프트의 다른 단어를 왜곡하는 것을 방지합니다. 정성 및 정량 평가 결과, CCE-Diffusion은 결과물의 아티팩트를 크게 줄이는 것으로 나타났습니다. CCE 모듈은 다양한 FCO 방법과 통합될 수 있는 플러그 앤 플레이 구성 요소이며, 이를 통해 성능을 향상시킬 수 있습니다.

To showcase products, merchants often incur substantial costs creating high-quality display images. Foreground Conditioned Outpainting (FCO) meets this demand, allowing users to create desired backgrounds for foreground instances at a low cost by adjusting the text prompt. However, existing text-driven FCO methods exhibit critical flaws in their outputs, most notably the presence of artifacts, which refer to regions in the synthesized background that share the same semantics as the foreground instance. Such artifacts diminish the object's prominence and degrade image quality. We attribute the issue to the misalignment between the given instance and text-derived concept embeddings. To address this, we propose the Customized Concept Embedding Diffusion (CCE-Diffusion) framework. Its core is a CCE-Module to customize concept embeddings, bridging the gap between generic noun semantics and a specific visual instance. An Instance-Aware Loss guides the module's optimization, while a Semantic-Preserving Prompt Template prevents customized embeddings from distorting other words in the prompt. Both qualitative and quantitative evaluations demonstrate that CCE-Diffusion significantly reduces artifacts in the outputs. As a plug-and-play component, the CCE-Module can integrate with various FCO methods, enhancing their performance.