PromptSplit: 생성 모델에서 프롬프트 수준의 불일치 현상 분석

PromptSplit: Revealing Prompt-Level Disagreement in Generative Models

프롬프트 기반 생성 AI 모델은 비전 및 언어 분야에서 빠르게 확산되어, 텍스트 입력을 기반으로 현실적이고 다양한 결과를 생성하고 있습니다. 다양한 데이터와 아키텍처로 훈련된 이러한 모델들이 증가함에 따라, 어떤 유형의 프롬프트가 모델의 동작에 뚜렷한 차이를 유발하는지 식별하기 위한 체계적인 방법이 필요합니다. 본 연구에서는 생성 모델 간의 프롬프트 의존적인 불일치를 감지하고 분석하기 위한 커널 기반 프레임워크인 PromptSplit을 제안합니다. PromptSplit은 비교되는 각 모델 쌍에 대해, 프롬프트와 이미지(또는 텍스트) 특징의 텐서 곱을 통해 프롬프트-출력의 결합된 표현을 구성하고, 그에 해당하는 커널 공분산 행렬을 계산합니다. 가중된 두 행렬 간의 차이에 대한 고유 공간을 활용하여, 프롬프트에 따른 모델 동작의 주요 차이 방향을 식별합니다. 확장성을 확보하기 위해, 투영 차원 $r$에 대해 계산 복잡도를 $O(nr^2 + r^3)$으로 줄이는 랜덤 투영 근사를 사용합니다. 또한, 이 근사가 전체 차원의 결과로부터 기대되는 편차가 $O(1/r^2)$으로 제한된다는 이론적 분석을 제공합니다. 텍스트-이미지, 텍스트-텍스트, 이미지-캡션 생성 환경에서의 실험 결과, PromptSplit은 실제 모델 동작 차이를 정확하게 감지하고, 그 차이를 유발하는 프롬프트를 식별하며, 생성 모델 간의 불일치를 파악하는 데 유용한 해석 가능한 도구를 제공하는 것으로 나타났습니다.

Prompt-guided generative AI models have rapidly expanded across vision and language domains, producing realistic and diverse outputs from textual inputs. The growing variety of such models, trained with different data and architectures, calls for principled methods to identify which types of prompts lead to distinct model behaviors. In this work, we propose PromptSplit, a kernel-based framework for detecting and analyzing prompt-dependent disagreement between generative models. For each compared model pair, PromptSplit constructs a joint prompt--output representation by forming tensor-product embeddings of the prompt and image (or text) features, and then computes the corresponding kernel covariance matrix. We utilize the eigenspace of the weighted difference between these matrices to identify the main directions of behavioral difference across prompts. To ensure scalability, we employ a random-projection approximation that reduces computational complexity to $O(nr^2 + r^3)$ for projection dimension $r$. We further provide a theoretical analysis showing that this approximation yields an eigenstructure estimate whose expected deviation from the full-dimensional result is bounded by $O(1/r^2)$. Experiments across text-to-image, text-to-text, and image-captioning settings demonstrate that PromptSplit accurately detects ground-truth behavioral differences and isolates the prompts responsible, offering an interpretable tool for detecting where generative models disagree.