CAPE-T2V: 캡셔너 기반 프롬프트 강화 기술을 통한 양방향 조건 정렬을 위한 텍스트-비디오 생성

CAPE-T2V: Captioner-Anchored Prompt Enhancement toward Two-Sided Conditioning Alignment in Text-to-Video Generation

텍스트-비디오(T2V) 확산 트랜스포머(DiT)는 상세한 비디오 설명을 사용하여 학습되지만, 추론 과정에서는 종종 프롬프트 향상기(PE)에 의해 재작성된 사용자 프롬프트를 사용합니다. 기존 연구에서는 PE, DiT 또는 이 둘 모두를 최적화하여 생성 성능을 개선했으며, 일부 방법은 공유된 구조를 통해 학습과 추론 간의 불일치를 줄이려고 시도했습니다. 그러나 공유된 구조 내에서도 추론 시간의 PE 출력과 DiT 학습에 사용된 설명은 여전히 세부적인 내용 선택, 정보 구성 방식, 묘사 수준 및 표현 방식에서 차이가 있을 수 있습니다. 이러한 잔여적인 불일치를 PE-설명 격차(PE-Caption gap)라고 부르며, 본 연구에서는 T2V 생성 과정에서의 양방향 조건 정렬을 위한 두 단계의 캡셔너 기반 프롬프트 강화 기술인 CAPE-T2V를 제안합니다. 먼저, CAPE-T2V는 세 가지 유형의 PE 학습 예제를 구축하여, 캡셔너가 생성한 결과를 간결한 원본 설명, 상세한 원본 설명 또는 해당 결과에서 파생된 유사 사용자 프롬프트와 연결합니다. 그런 다음, PE를 각 입력과 연결된 목표에 매핑하도록 미세 조정합니다. 둘째, CAPE-T2V는 앵커링 PE에 의해 재작성된 비디오 기반 설명을 사용하여 DiT를 미세 조정하며, 동일한 PE가 추론 시 사용자 프롬프트를 재작성합니다. 동일한 설명 구조를 사용하는 기준 모델과 비교하여, CAPE-T2V는 Wan2.2 및 LTX-2.3 데이터셋에 대한 StoryEval, VBench-2.0 및 T2V-CompBench에서 더 높은 종합 점수를 달성했습니다. 또한, CAPE-T2V는 기준 모델보다 PE-설명 격차가 작습니다. 즉, DiT 미세 조정에 사용된 설명은 고정된 임베딩 공간에서 측정되는 제곱 최대 평균 차이(squared maximum mean discrepancy)를 통해 추론 시의 PE 출력과 분포가 더 유사합니다. 전반적으로 이러한 결과는 CAPE-T2V가 PE-설명 격차를 완화하는 효과적인 방법임을 뒷받침합니다. 본 프로젝트는 다음 GitHub 주소에서 확인할 수 있습니다: https://github.com/yizzz927/CAPE-T2V.

Text-to-video (T2V) diffusion transformers (DiTs) are trained with detailed video captions, whereas inference often relies on user prompts rewritten by a prompt enhancer (PE). Prior work has improved generation by optimizing the PE, the DiT, or both; some methods have also sought to narrow the training-inference mismatch through shared schemas. Yet even within a shared schema, inference-time PE outputs and DiT training captions may still differ in detail selection, information organization, descriptive granularity, and phrasing. We refer to this residual mismatch as the PE-Caption gap and introduce CAPE-T2V, a two-step Captioner-Anchored Prompt Enhancement framework toward two-sided conditioning alignment in T2V generation. First, CAPE-T2V constructs three types of PE training examples, pairing captioner-generated targets with concise source captions, detailed source captions, or pseudo user prompts derived from those targets. It then fine-tunes the PE to map each input to its paired target. Second, CAPE-T2V fine-tunes the DiT on video-derived captions rewritten by the Anchored PE; the same PE rewrites user prompts at inference. Relative to a baseline using the same caption schema, CAPE-T2V achieves higher aggregate scores on StoryEval, VBench-2.0, and T2V-CompBench across Wan2.2 and LTX-2.3. Further, CAPE-T2V exhibits a smaller PE-Caption gap than the baseline: its DiT fine-tuning captions are closer in distribution to inference-time PE outputs, as measured by squared maximum mean discrepancy in a fixed embedding space. Overall, these results support CAPE-T2V as an effective approach to mitigating the PE-Caption gap. The project is available at https://github.com/yizzz927/CAPE-T2V.