OpenMic: 멀티 에이전트 기반 스탠드업 코미디 생성 시스템

OpenMic: A Multi-Agent-Based Stand-Up Comedy Generation System

중국어 스탠드업 코미디 생성은 단순한 텍스트 생성을 넘어 문화적 맥락이 담긴 유머, 정확한 타이밍, 무대 공연 신호, 그리고 암시적인 다단계 추론을 필요로 합니다. 게다가 흔히 사용되는 중국어 유머 데이터셋은 장편 스탠드업 생성보다는 유머 이해나 평가에 더 적합한 경우가 많아, 직접적인 지도 학습을 적용할 경우 목표 작업과 불일치가 발생합니다. 이러한 문제를 해결하기 위해, 우리는 AutoGen을 기반으로 구축된 엔드투엔드 멀티 에이전트 시스템인 OpenMic를 제안합니다. 이 시스템은 사용자가 제공한 생활 주제를 3~5분 분량의 중국어 스탠드업 공연으로 변환하고, 더 나아가 내레이션이 포함된 코미디 비디오를 제작합니다. OpenMic는 유머, 타이밍, 공연 적합성을 공동으로 최적화하기 위해 다중 라운드 반복 루프 계획 내에서 여러 전문 에이전트들을 조율합니다. 데이터셋과 작업 간의 불일치를 완화하기 위해, 우리는 검색 증강 생성(RAG)을 활용해 소재의 근거를 마련하고 아이디어를 확장함으로써 생성을 보강했습니다. 또한, 스탠드업 특유의 셋업-펀치라인(setup-punchline) 구조와 장거리 콜백(callbacks)을 더 잘 내재화할 수 있도록 전용 'JokeWriter'를 미세 조정(fine-tune)했습니다.

Chinese stand-up comedy generation goes beyond plain text generation, requiring culturally grounded humor, precise timing, stage-performance cues, and implicit multi-step reasoning. Moreover, commonly used Chinese humor datasets are often better suited for humor understanding and evaluation than for long-form stand-up generation, making direct supervision misaligned with the target task. To address these challenges, we present OpenMic, an end-to-end multi-agent system built on AutoGen that transforms a user-provided life topic into a 3-5 minute Chinese stand-up performance and further produces a narrated comedy video. OpenMic orchestrates multiple specialized agents in a multi-round iterative loop-planning to jointly optimize humor, timing, and performability. To mitigate the dataset-task mismatch, we augment generation with retrieval-augmented generation (RAG) for material grounding and idea expansion, and we fine-tune a dedicated JokeWriter to better internalize stand-up-specific setup-punchline structures and long-range callbacks.