비디오 재작성: 텍스트 기반 비디오 영상 재구성

Rewriting Video: Text-Driven Reauthoring of Video Footage

비디오는 의사소통과 스토리텔링을 위한 강력한 매체이지만, 기존 영상을 재구성하는 것은 여전히 어려운 과제입니다. 간단한 편집조차도 전문 지식, 시간, 그리고 신중한 계획을 요구하며, 이는 창작자가 자신의 이야기를 구상하고 형성하는 방식을 제한합니다. 최근 생성형 인공지능의 발전은 새로운 패러다임을 제시합니다. 만약 비디오 편집이 텍스트를 수정하는 것처럼 간단해질 수 있다면 어떨까요? 이를 탐구하기 위해, 본 연구에서는 텍스트 기반 비디오 재구성 기술을 소개하고, 이에 대한 연구를 진행합니다. 저희의 접근 방식은 다음과 같은 두 가지 기술적 기여를 포함합니다. (1) 비디오를 편집 가능한 텍스트 프롬프트로 역추적하는 생성적 재구성 알고리즘, 그리고 (2) 창작자가 이러한 프롬프트를 조작할 수 있는 대화형 시스템, 'Rewrite Kit'. 알고리즘에 대한 기술적 평가는 인간과 AI의 인지적 간극이 존재함을 보여줍니다. 12명의 창작자를 대상으로 진행된 시스템 사용 연구를 통해, 가상 재촬영, 합성 연속성, 그리고 미적 스타일 변경과 같은 새로운 활용 사례가 발견되었습니다. 또한, 이 새로운 패러다임에서 일관성, 통제, 그리고 창의적 조화에 대한 중요한 문제점들이 드러났습니다. 본 연구는 텍스트 기반 비디오 재구성이 제공하는 기회와 과제에 대한 실증적인 통찰력을 제공하며, 향후 협력적 비디오 도구 설계에 대한 시사점을 제시합니다.

Video is a powerful medium for communication and storytelling, yet reauthoring existing footage remains challenging. Even simple edits often demand expertise, time, and careful planning, constraining how creators envision and shape their narratives. Recent advances in generative AI suggest a new paradigm: what if editing a video were as straightforward as rewriting text? To investigate this, we present a tech probe and a study on text-driven video reauthoring. Our approach involves two technical contributions: (1) a generative reconstruction algorithm that reverse-engineers video into an editable text prompt, and (2) an interactive probe, Rewrite Kit, that allows creators to manipulate these prompts. A technical evaluation of the algorithm reveals a critical human-AI perceptual gap. A probe study with 12 creators surfaced novel use cases such as virtual reshooting, synthetic continuity, and aesthetic restyling. It also highlighted key tensions around coherence, control, and creative alignment in this new paradigm. Our work contributes empirical insights into the opportunities and challenges of text-driven video reauthoring, offering design implications for future co-creative video tools.