GPT-5.2, Gemini 3 Pro, Qwen3-VL, Grok 4.1 Fast, Nano Banana Pro 및 Seedream 4.5에 대한 안전성 보고서

A Safety Report on GPT-5.2, Gemini 3 Pro, Qwen3-VL, Grok 4.1 Fast, Nano Banana Pro, and Seedream 4.5

거대언어모델(LLM)과 멀티모달 거대언어모델(MLLM)의 급격한 발전은 언어와 시각 전반에 걸쳐 추론, 지각 및 생성 능력의 큰 향상을 가져왔으나, 이러한 발전이 안전성 측면에서도 그에 상응하는 개선으로 이어지는지는 여전히 불분명하다. 이는 부분적으로 고립된 모달리티나 위협 모델에만 초점을 맞춘 파편화된 평가 때문이다. 본 보고서에서는 GPT-5.2, Gemini 3 Pro, Qwen3-VL, Grok 4.1 Fast, Nano Banana Pro, Seedream 4.5 등 6가지 프런티어 모델에 대한 통합 안전성 평가를 제시한다. 우리는 벤치마크, 적대적 공격, 다국어 및 규정 준수 평가를 결합한 통합 프로토콜을 사용하여 언어, 시각-언어, 이미지 생성 전반에 걸쳐 각 모델을 평가하였다. 결과를 안전성 리더보드와 모델 프로필로 종합하여 매우 불균형한 안전성 지형을 확인하였다. GPT-5.2는 일관되게 강력하고 균형 잡힌 성능을 보여주는 반면, 다른 모델들은 벤치마크 안전성, 적대적 견고성, 다국어 일반화 및 규제 준수 간에 명확한 상충 관계(trade-off)를 보였다. 표준 벤치마크에서는 강력한 결과를 보였음에도 불구하고, 모든 모델은 적대적 테스트 환경에서 매우 취약했으며, 최악의 경우 안전율이 6% 미만으로 떨어졌다. 텍스트-이미지 모델들은 규제된 시각적 위험 범주에서는 다소 더 강력한 정렬(alignment)을 보여주었으나, 적대적이거나 의미적으로 모호한 프롬프트 앞에서는 여전히 취약했다. 결론적으로, 본 연구 결과는 프런티어 모델의 안전성이 모달리티, 언어, 평가 설계에 의해 형성되는 본질적으로 다차원적인 특성을 가짐을 강조하며, 실제 위험을 더 잘 반영하고 책임감 있는 배포를 이끌기 위해 표준화되고 포괄적인 안전성 평가가 필요함을 시사한다.

The rapid evolution of Large Language Models (LLMs) and Multimodal Large Language Models (MLLMs) has driven major gains in reasoning, perception, and generation across language and vision, yet whether these advances translate into comparable improvements in safety remains unclear, partly due to fragmented evaluations that focus on isolated modalities or threat models. In this report, we present an integrated safety evaluation of six frontier models--GPT-5.2, Gemini 3 Pro, Qwen3-VL, Grok 4.1 Fast, Nano Banana Pro, and Seedream 4.5--assessing each across language, vision-language, and image generation using a unified protocol that combines benchmark, adversarial, multilingual, and compliance evaluations. By aggregating results into safety leaderboards and model profiles, we reveal a highly uneven safety landscape: while GPT-5.2 demonstrates consistently strong and balanced performance, other models exhibit clear trade-offs across benchmark safety, adversarial robustness, multilingual generalization, and regulatory compliance. Despite strong results under standard benchmarks, all models remain highly vulnerable under adversarial testing, with worst-case safety rates dropping below 6%. Text-to-image models show slightly stronger alignment in regulated visual risk categories, yet remain fragile when faced with adversarial or semantically ambiguous prompts. Overall, these findings highlight that safety in frontier models is inherently multidimensional--shaped by modality, language, and evaluation design--underscoring the need for standardized, holistic safety assessments to better reflect real-world risk and guide responsible deployment.