반복적 자기 개선 코드북을 이용한 안전한 자기 회귀 이미지 생성

Safe Autoregressive Image Generation with Iterative Self-Improving Codebooks

확산 모델과 달리, 자기 회귀 통합 멀티모달 모델은 연속적인 잠재 공간에서 작동하는 대신, 시각적 토큰을 순차적으로 예측하여 이미지를 생성합니다. 이러한 토큰들은 임베딩을 양자화된 시각 패턴에 매핑하는 코드북으로부터 파생됩니다. 언어와 유사한 구조 덕분에 통합 멀티모달 모델은 이미지 생성을 위한 텍스트 조건 정보를 효과적으로 활용할 수 있으며, 이는 텍스트-이미지 생성 작업에 유망합니다. 그러나 이러한 자기 회귀 방식으로 생성된 이미지는 얼마나 안전할까요? 본 연구에서는 안전한 자기 회귀 생성을 위한 반복적 자기 개선 코드북을 제안합니다. 우리는 통합 멀티모달 모델 자체의 이해 및 판단 능력을 활용하여, 인간의 주석 없이도 안전하지 않은 생성 이미지를 식별합니다. 이후, 코드북 내의 고유한 표현 방식을 수정하여 유해한 매핑을 제거합니다. 우리의 방법은 두 단계로 구성됩니다. 첫째, 통합 모델을 사용하여 안전하지 않은 생성을 식별하고, 이에 해당하는 유해 및 안전한 이미지-텍스트 쌍을 구축합니다. 이러한 쌍들은 '유해 공간(Harmful Space)'을 구성하고, 코드북 업데이트를 안내하여 유해한 출력을 제거하는 데 사용됩니다. 둘째, 안전한 이미지-텍스트 쌍을 사용하여 '안전 공간' 내에서 코드북에 대한 적응적 미세 조정을 수행하여 생성된 이미지의 품질을 보장합니다. 이 두 단계는 더 이상 개선이 없을 때까지 반복적으로 실행되어 안전성이 향상된 모델 코드북을 생성합니다. 추가적인 외부 피드백 없이도 모델의 안전성을 반복적으로 개선할 수 있습니다.

Unlike diffusion-based models that operate in continuous latent spaces, autoregressive unified multimodal models produce images by sequentially predicting discretized visual tokens. These tokens are derived from a codebook that maps embeddings to quantized visual patterns. The language-like architecture enables unified multimodal models to effectively capture text conditional information for generation, making them promising for text-to-image tasks. This also raises an interesting question: how safe are the images generated in such an autoregressive way? In this work, we propose iterative self-improving codebooks for safe autoregressive generation. We leverage the understanding and judgment capabilities of the unified multimodal model itself to identify unsafe generated images without human annotation. Subsequently, the inherent representations in the codebook are fixed to eliminate harmful mappings. Our method comprises two steps: first, we use the unified model to identify unsafe generations and construct corresponding harmful and safe image-text pairs. These pairs are used to construct the Harmful Space and guide updates to the codebook, thereby eliminating harmful outputs. Second, we perform adaptive fine-tuning on the codebook within the harmless space using safe image-text pairs to ensure the quality of generated images. These two steps are repeated until no further improvement is observed, producing a safety-enhanced model codebook. Without additional external feedback, the safety of models is improved iteratively.