분라쿠: 단일 일러스트를 편집 가능한 Live2D 캐릭터로 변환

Bunraku: Turning a Single Illustration into an Editable Live2D Character

Live2D는 애니메이션 캐릭터 및 가상 아바타를 위한 가장 널리 사용되는 2차원 캐릭터 애니메이션 형식으로, 각 캐릭터를 RGBA 레이어 스택으로 표현하며, 각 레이어의 메시 변형에 의해 제어됩니다. Live2D는 가상 스트리밍, 모바일 게임 및 인터랙티브 캐릭터 분야에서 광범위하게 사용되지만, Live2D 모델을 제작하려면 여전히 수 주 동안의 수동적인 레이어 분리, 폐색 영역 완성, 메시 배치 및 키프레임 작업이 필요하며, 기존 생성 방법으로는 이러한 구조화된 에셋을 처음부터 끝까지 완벽하게 생성하는 것은 불가능했습니다. 본 연구에서는 단일 일러스트로부터 Live2D 런타임이 사용하는 모든 구조화된 정보를 생성하는 최초의 시스템을 제시합니다. 이 시스템은 정렬된 RGBA 레이어, 각 레이어에 대한 변형 메시, 그리고 캐릭터 움직임을 만드는 파라미터 기반 키포즈 버텍스 오프셋을 생성합니다. 1단계에서는 레이어 분해를 Live2D 인지적인 장기 수준 분류 하에서 레이어 확산 프로세스로 정의하고, 숨겨진 영역을 완성하여 정렬된 RGBA 스택을 생성합니다. 2단계에서는 각 레이어의 알파 채널만을 사용하여 콘텐츠에 부합하는 삼각형 메시를 구축한 다음, 모든 레이어의 키포즈 변위 필드를 함께 예측합니다. 독립적인 예측이 아닌 공동 예측을 통해 개별적으로는 그럴듯해 보이는 부분들을 단순히 합치는 것이 아니라 일관성 있는 캐릭터를 만들 수 있으며, 이것이 가장 큰 개선점입니다. 네트워크 크기를 112배 확장해도 이러한 효과는 사라지지 않습니다. 교사 강제(teacher forcing) 없이 실제 생성을 수행한 결과, 50개의 테스트 캐릭터에서 각 버텍스 방향 코사인 값이 0.768 (중앙값 0.828)을 달성했습니다. 레이어의 메시가 해당 레이어의 알파 채널로부터 파생되기 때문에, 의상 레이어를 자연어 지시를 통해 재텍스처링할 수 있으며, 이때 메시와 예측된 애니메이션은 완전히 동일하게 유지됩니다. 또한 본 연구에서는 이 작업을 위한 최초의 표준 벤치마크인 Live2D-Bench와 함께, 레이어 및 애니메이션에 대한 감독 정보가 포함된 8,884개의 Live2D 데이터셋을 공개합니다.

Live2D is the dominant 2D character-animation format for anime characters and virtual avatars, representing each character as a stack of RGBA layers driven by per-layer mesh deformation. Despite its wide use in virtual streaming, mobile games, and interactive characters, authoring a Live2D model still demands weeks of manual layer separation, occlusion completion, mesh placement, and keyframing, and no prior generative method produces such a structured asset end-to-end. We present the first system that, from a single illustration, generates all the structured information a Live2D runtime consumes: ordered RGBA layers, a deformation mesh per layer, and the parameter-driven keypose vertex offsets that make the character move. Stage 1 casts layered decomposition as a layered diffusion process under a Live2D-aware organ-level taxonomy, producing an ordered RGBA stack with hidden-region completion. Stage 2 builds a content-conforming triangle mesh for each layer from its alpha channel alone, then predicts the keypose displacement field of all layers jointly: every vertex of every layer is one token, self-attention spans layer boundaries, and each displacement is factorised into a bounded direction and a log-magnitude. Joint rather than independent prediction is what makes the result a coherent character instead of separately plausible parts, and is our largest gain; scaling the network 112x yields none. On 50 held-out characters, under true generation with no teacher forcing, Stage 2 attains a per-vertex direction cosine of 0.768 (median 0.828). Because a layer's mesh derives from its alpha channel, a clothing layer can be re-textured from a natural-language instruction while the mesh and predicted animation are reused byte-for-byte. We further contribute Live2D-Bench, the first standardized benchmark for the task, and an 8,884-model Live2D corpus with layer and animation supervision.