ExpressEdit: 디퓨전 모델을 활용한 스타일화된 얼굴 표정의 빠른 편집 기능, 포토샵 플러그인

ExpressEdit: Fast Editing of Stylized Facial Expressions with Diffusion Models in Photoshop

캐릭터의 얼굴 표정은 시각적 스토리텔링의 중요한 요소입니다. 현재의 AI 이미지 편집 모델들은 예술가들이 스타일화된 표정 편집 작업을 수행하는 데 도움을 줄 수 있는 잠재력을 가지고 있지만, 이러한 모델들은 편집된 이미지에 전역적인 노이즈와 픽셀 드리프트를 발생시켜 전문적인 이미지 편집 소프트웨어 및 워크플로우에 통합하는 데 어려움이 있습니다. 이러한 문제를 해결하기 위해, 우리는 ExpressEdit이라는 완전한 오픈 소스 포토샵 플러그인을 소개합니다. ExpressEdit은 일반적인 독점 이미지 편집 모델에서 나타나는 흔한 문제점들을 해결하고, 리퀴파이와 같은 포토샵의 기본 기능을 효과적으로 활용합니다. ExpressEdit은 단일 소비자용 GPU에서 3초 이내에 표정을 편집할 수 있으며, 이는 인기 있는 독점 모델보다 훨씬 빠른 속도입니다. 또한, 다양한 스토리텔링 요구사항에 맞춰 다양한 표정을 생성할 수 있도록, 135개의 표정 태그로 구성된 포괄적인 데이터베이스를 구축했으며, 각 태그는 예시 스토리와 이미지로 보강되어 검색 기반 생성에 활용될 수 있도록 설계되었습니다. 우리는 코드와 데이터셋을 공개하여 향후 연구 및 예술적 탐구를 지원하고자 합니다.

Facial expressions of characters are a vital component of visual storytelling. While current AI image editing models hold promise for assisting artists in the task of stylized expression editing, these models introduce global noise and pixel drift into the edited image, preventing the integration of these models into professional image editing software and workflows. To bridge this gap, we introduce ExpressEdit, a fully open-source Photoshop plugin that is free from common artifacts of proprietary image editing models and robustly synergizes with native Photoshop operations such as Liquify. ExpressEdit seamlessly edits an expression within 3 seconds on a single consumer-grade GPU, significantly faster than popular proprietary models. Moreover, to support the generation of diverse expressions according to different narrative needs, we compile a comprehensive expression database of 135 expression tags enriched with example stories and images designed for retrieval-augmented generation. We open source the code and dataset to facilitate future research and artistic exploration.