이해력이 위험으로 이어질 때: 새로운 이미지 생성 패러다임에서 진정성과 안전 관련 위험

When Understanding Becomes a Risk: Authenticity and Safety Risks in the Emerging Image Generation Paradigm

최근, 다중 모드 대규모 언어 모델(MLLM)은 언어 및 이미지 생성의 통합적인 패러다임으로 부상했습니다. 디퓨전 모델과 비교했을 때, MLLM은 훨씬 강력한 의미 이해 능력을 가지고 있어 더 복잡한 텍스트 입력을 처리하고 풍부한 문맥적 의미를 이해할 수 있습니다. 그러나 이러한 향상된 의미 이해 능력은 새로운 잠재적인 안전 위험을 초래할 수 있습니다. 본 연구에서는 디퓨전 모델을 기준으로, MLLM의 안전 위험을 체계적으로 분석하고 비교하며, 부적절한 콘텐츠 생성 및 가짜 이미지 합성이라는 두 가지 측면에서 살펴보았습니다. 여러 부적절한 콘텐츠 생성 벤치마크 데이터셋에서, MLLM이 디퓨전 모델보다 더 많은 부적절한 이미지를 생성하는 경향을 보였습니다. 이러한 차이는 부분적으로 디퓨전 모델이 추상적인 프롬프트를 해석하는 데 어려움을 겪어 왜곡된 결과를 생성하는 반면, MLLM은 이러한 프롬프트를 이해하고 부적절한 콘텐츠를 생성하기 때문입니다. 현재의 고급 가짜 이미지 탐지기에서도 MLLM이 생성한 이미지를 식별하기가 훨씬 어렵습니다. 탐지기를 MLLM에 특화된 데이터로 재훈련하더라도, MLLM에 더 길고 자세한 입력을 제공함으로써 쉽게 회피할 수 있습니다. 우리의 측정 결과는 최첨단 생성 패러다임인 MLLM의 새로운 안전 위험이 충분히 인식되지 못하고 있으며, 이는 실제 안전에 새로운 과제를 제시한다는 것을 보여줍니다.

Recently, multimodal large language models (MLLMs) have emerged as a unified paradigm for language and image generation. Compared with diffusion models, MLLMs possess a much stronger capability for semantic understanding, enabling them to process more complex textual inputs and comprehend richer contextual meanings. However, this enhanced semantic ability may also introduce new and potentially greater safety risks. Taking diffusion models as a reference point, we systematically analyze and compare the safety risks of emerging MLLMs along two dimensions: unsafe content generation and fake image synthesis. Across multiple unsafe generation benchmark datasets, we observe that MLLMs tend to generate more unsafe images than diffusion models. This difference partly arises because diffusion models often fail to interpret abstract prompts, producing corrupted outputs, whereas MLLMs can comprehend these prompts and generate unsafe content. For current advanced fake image detectors, MLLM-generated images are also notably harder to identify. Even when detectors are retrained with MLLMs-specific data, they can still be bypassed by simply providing MLLMs with longer and more descriptive inputs. Our measurements indicate that the emerging safety risks of the cutting-edge generative paradigm, MLLMs, have not been sufficiently recognized, posing new challenges to real-world safety.