주체 기반 이미지 생성에서 멀티모달 대규모 언어 모델의 활용을 통한 성능 향상

Squeezing Capacity from Multimodal Large Language Models for Subject-driven Generation

주제 기반 이미지 생성은 주어진 주제의 특징을 유지하면서 텍스트 지시사항에 따라 새로운 이미지를 합성하는 것을 목표로 합니다. 기존 방법들은 종종 텍스트와 참조 이미지를 별도로 인코딩하는데, 이는 다중 모드 간의 추론 능력을 제한하고 복사-붙여넣기 현상을 유발할 수 있습니다. 최근에는 멀티모달 모델과 확산 모델을 연결하여 지시사항 준수 능력을 향상시키는 프레임워크들이 등장했지만, 주제 정보 유지 측면에서는 여전히 부족한 부분이 있습니다. 본 연구에서는 텍스트와 참조 이미지를 동시에 인코딩하는 멀티모달 대규모 언어 모델(MLLM)에 기반한 확산 모델을 활용하고, VAE 기반의 주제 정보 조건을 추가하여 이러한 한계를 극복하고자 합니다. 최적의 조건화를 위해 다층 집계(DLA) 모듈을 설계하여 MLLM의 다양한 수준의 특징을 통합하고, 추론 과정에서 MLLM으로부터 얻은 의미 정보와 VAE로부터 얻은 세부적인 주제 정보를 점진적으로 조절하는 다단계 디노이징 전략을 적용합니다. 광범위한 실험 결과는 본 연구 방법론이 멀티모달 이해 능력과 주제 정보 유지 능력을 균형 있게 향상시키고, 복사-붙여넣기 문제를 완화하며, 주제 기반 이미지 생성에 대한 인간의 선호도 측면에서 우수한 성능을 달성함을 보여줍니다. 프로젝트 웹사이트는 https://zsh2000.github.io/squeeze-mllm-subject-gen/ 에서 확인할 수 있습니다.

Subject-driven image generation aims to synthesize new images that preserve the identity of the given subject while following textual instructions. Existing approaches often encode text and reference images separately. This limits cross-modal reasoning abilities and causes copy-paste artifacts. Recent frameworks that connect multimodal models and diffusion models improve instruction following, but largely overlook identity preservation. To address these limitations, we condition diffusion models on Multimodal Large Language Models (MLLMs) that jointly encode text and reference images, and augment it with VAE-based identity conditioning. A novel Dual Layer Aggregation (DLA) module is designed to aggregate multi-level MLLM features for optimal conditioning, and a multi-stage denoising strategy is applied to progressively balance the semantic information from MLLM and fine-detail identity from VAE during inference. Extensive experiments demonstrate that our approach harmonizes multimodal understanding with identity preservation, mitigates copy-paste issues, and achieves superior performance regarding human preference on subject-driven image generation. Our project website is available at https://zsh2000.github.io/squeeze-mllm-subject-gen/.