언어 모델은 볼 수 없어도 상상할 수 있는가? 에크프라시스: 텍스트 기반 언어 모델의 시각적 창의적 사고 측정

Can Language Models Imagine Without Seeing? Ekphrasis: Measuring Visual Creative Ideation in Text-Only LLMs

현재의 평가 방법으로는 텍스트만으로 작동하는 언어 모델이 이미지 생성 전에 시각적 개념을 창조할 수 있는지 여부를 명확하게 파악하기 어렵습니다. 유창한 시각적 묘사는 실제로 시각적 계획 실패를 숨길 수 있습니다. 즉, 답변이 창의적으로 보일 수 있지만 익숙한 시각적 클리셰를 반복하거나 렌더링 가능한 장면을 구체적으로 설명하지 못하는 경우가 있을 수 있습니다. 본 연구에서는 '시각적 창의적 사고(VCI)'를 유용하고, 표현력이 뛰어나며, 기존과는 다른 독창적인 시각적 계획을 생성하는 능력으로 정의하고, 추상화, 조합, 변환 및 적응의 4가지 측면을 포괄하는 400개의 작업으로 구성된 벤치마크인 '에크프라시스'를 소개합니다. 에크프라시스는 익명화된 쌍대 비교를 수행하고, 차원별 체크리스트를 활용하여 선호도를 집계하며, 브래들리-테리 모델을 사용하고, 작업별 클리셰를 새로운 참조점으로 변환하기 위해 유형화된 아이디어 그래프를 사용합니다. 14개의 언어 모델을 대상으로 VCI를 평가한 결과, 유용성, 표현력 및 독창성이 단순히 유창성과는 구분됨을 알 수 있었습니다. 우수한 모델들은 다양한 특성을 통해 유사한 전반적인 점수를 달성하며, 유용한 계획이라 하더라도 시각적으로 클리셰적일 수 있습니다. 추가적으로 수행된 교차 모드 기반 연구에서는 텍스트 수준의 VCI 순위가 충실한 이미지 렌더링과 감성적인 이미지 평가를 통해 대체로 유지되는 것을 확인했으며, 이는 에크프라시스가 단순히 문장 품질을 넘어 시각적 사고 능력을 측정하는 데 유용함을 뒷받침합니다.

Current evaluations do not isolate whether text-only language models can originate visual concepts before image generation. Fluent visual prose can hide visual-plan failures: an answer may appear creative while repeating familiar visual clichés or failing to specify a renderable scene. We define Visual Creative Ideation (VCI) as the ability to produce textual visual plans that are useful, expressive, and population-novel, and introduce Ekphrasis, a 400-task benchmark spanning Abstraction, Combination, Transformation, and Adaptation. Ekphrasis scores anonymized pairwise comparisons with dimension-specific checklists, aggregates preferences with Bradley-Terry models, and uses Typed Idea Graphs to convert task-specific population clichés into novelty references. Across 14 language models, VCI separates usefulness, expressiveness, and novelty rather than reducing to fluency: strong models achieve similar overall scores through different profiles, and useful plans can remain visually clichéd. A cross-modal grounding study further shows that text-level VCI ordering largely survives faithful rendering and blind image-level preference judgment, supporting Ekphrasis as a measure of visual ideation beyond prose quality.