DuplexGen: 인간-AI 상호작용 대화에서 상황에 맞게 적응하는 발언 교대 방식 생성

DuplexGen: Adaptive Synthesis of Human-AI Turn-Taking Dialogues

발언 교대는 양방향 상호작용의 핵심 요소입니다. 적절한 발언 교대 방식은 상황에 따라 다르지만, 현재 모델들은 맥락에 관계없이 단일 기준을 적용합니다. 이러한 한계는 학습 데이터에서 비롯됩니다. 인간-인간 음성 데이터는 자연스러운 타이밍 현상을 포착하지만 역할 기반 정보나 특정 시나리오에 대한 지침이 부족하며, 휴리스틱 또는 프롬프트 기반 생성 방법은 인간의 선호도를 반영하지 않고 발언 교대 방식을 주입합니다. 본 논문에서는 LLM 예측을 소량의 슬롯 수준 인간 선호도 어노테이션과 비교하여 상황에 맞는 발언 교대가 가능한 대화를 생성하는 프레임워크인 DuplexGen을 소개합니다. 6개의 협력 및 경쟁 과제에서 인간의 발언 교대 선호도는 체계적으로 다르며, DuplexGen은 일반적인 인간-인간 데이터만으로 학습하거나 미세 조정되지 않은 프롬프트 방식보다 이러한 선호도와 훨씬 더 일치합니다. DuplexGen으로 생성된 데이터를 기반으로 훈련된 양방향 모델은 인간이 선호하는 독특한 발언 교대 방식을 나타냅니다. 이러한 결과는 발언 교대 방식 생성이 시나리오에 특화되도록 하는 데에는 데이터 규모나 프롬프트 설계뿐만 아니라 인간의 선호도 반영이 중요하다는 것을 보여줍니다.

Turn-taking is a central component of full-duplex interaction. Which turn-taking behaviors are appropriate varies with the scenario, yet current models apply a single norm regardless of context. This limitation originates in their training data: human-human speech corpora capture natural timing phenomena but provide little role grounding or scenario-specific norms, while heuristic or prompted synthesis methods inject turn-taking behaviors without basing them on human preferences. We introduce DuplexGen, a framework for generating dialogues with scenario-adaptive turn-taking by calibrating LLM predictions against a small set of slot-level human preference annotations. In six cooperative and competitive tasks, human turn-taking preferences differ systematically, and DuplexGen aligns substantially more closely with those preferences than uncalibrated prompting or training solely on generic human-human data; a full-duplex model trained on DuplexGen-generated data exhibits distinctive, human-preferred turn-taking behaviors. These results show that human calibration, not corpus scale or prompt design alone, is what allows turn-taking synthesis to be scenario-specific.