GameUIAgent: 구조화된 중간 표현을 활용한 LLM 기반 자동 게임 UI 디자인 프레임워크

GameUIAgent: An LLM-Powered Framework for Automated Game UI Design with Structured Intermediate Representation

게임 UI 디자인은 희귀도 단계에 따른 일관된 시각적 자산을 요구하지만, 여전히 주로 수동적인 과정입니다. 본 논문에서는 GameUIAgent을 소개합니다. GameUIAgent은 LLM 기반 에이전트 프레임워크로, 자연어 설명을 Design Spec JSON이라는 구조화된 중간 표현을 통해 편집 가능한 Figma 디자인으로 변환합니다. 6단계의 신경-기호 파이프라인은 LLM 생성, 결정적인 후처리, 그리고 Vision-Language Model (VLM) 기반의 Reflection Controller (RC)를 결합하여 반복적인 자기 수정 과정을 거치며, 보장된 비후진적 품질을 유지합니다. 110개의 테스트 케이스, 세 개의 LLM, 그리고 세 개의 UI 템플릿을 사용하여 평가한 결과, 모델 간 분석을 통해 게임 도메인에서의 실패 유형(희귀도 의존적 성능 저하, 시각적 공허함)을 분류하고, 두 가지 주요 실증적 결과를 도출했습니다. 품질 천장 효과(Pearson r=-0.96, p<0.01)는 RC 개선이 특정 품질 임계값 이하에서는 한계에 도달한다는 것을 시사하며, 이는 시각 도메인에서의 테스트 시간 컴퓨팅 스케일링 법칙과 유사합니다. 렌더링-평가 충실도 원리는 부분적인 렌더링 향상이 구조적 결함을 증폭시켜 VLM 평가를 역설적으로 저하시킨다는 것을 보여줍니다. 이러한 결과들은 게임 제작에서의 LLM 기반 시각 생성 에이전트에 대한 기초적인 원칙을 확립합니다.

Game UI design requires consistent visual assets across rarity tiers yet remains a predominantly manual process. We present GameUIAgent, an LLM-powered agentic framework that translates natural language descriptions into editable Figma designs via a Design Spec JSON intermediate representation. A six-stage neuro-symbolic pipeline combines LLM generation, deterministic post-processing, and a Vision-Language Model (VLM)-guided Reflection Controller (RC) for iterative self-correction with guaranteed non-regressive quality. Evaluated across 110 test cases, three LLMs, and three UI templates, cross-model analysis establishes a game-domain failure taxonomy (rarity-dependent degradation; visual emptiness) and uncovers two key empirical findings. A Quality Ceiling Effect (Pearson r=-0.96, p<0.01) suggests that RC improvement is bounded by headroom below a quality threshold -- a visual-domain counterpart to test-time compute scaling laws. A Rendering-Evaluation Fidelity Principle reveals that partial rendering enhancements paradoxically degrade VLM evaluation by amplifying structural defects. Together, these results establish foundational principles for LLM-driven visual generation agents in game production.