TIDES: 다자간 사회적 역학 관계 모델링을 위한 종단적 이중 언어 데이터셋

TIDES: A Longitudinal Bilingual Dataset for Modeling Multi-Party Social Dynamics

그룹 대화는 인간 협업의 기본이지만, 기존의 대규모 언어 모델(LLM)은 여전히 다자간 상호 작용의 복잡성을 처리하는 데 어려움을 겪습니다. 이러한 문제는 주로 기존 그룹 대화 데이터셋이 단기적인 실험실 환경에서 인위적으로 구성된 작업에 국한되어 실제 팀의 장기적인 사회적 역학 관계를 제대로 반영하지 못하기 때문입니다. 이러한 격차를 해소하기 위해, 저희는 12개의 대학 프로젝트 팀을 한 학기 동안 추적하는 고해상도 종단 데이터셋인 TIDES를 소개합니다. TIDES는 대면 회의에서 영어와 한국어로 진행된 75,971개의 발화를 포함하며, 실제 팀이 자율적으로 수행하는 프로젝트에 대한 자연스러운 기록을 제공합니다. 저희가 제공하는 사회 구조적 주석(상호 작용 유형, 등장하는 역할 및 발전 단계)은 수개월 동안의 팀 진화 모델링을 가능하게 합니다. 실험 결과, TIDES를 사용하여 미세 조정하면 차오름-문자열 기반 모델(64.53%)보다 다음 발언자를 예측하는 정확도가 13.8% 향상되며, 강력한 독점적인 제로샷 모델과 유사한 성능을 보입니다. 또한, 저희 모델은 AMI 회의 코퍼스에서 발표된 최첨단 수준에 비해 약 42% 적은 학습 데이터를 사용하여 2.1%p 이내의 성능을 달성합니다. 그러나 인간 평가 결과, 더 나은 다음 발언자 예측이 반드시 더 자연스럽거나 일관된 발화를 의미하지는 않으며, 미세 조정된 모델이 일반적으로 기본 모델보다 선호되지 않는 것으로 나타났습니다. 이러한 잠재적인 불일치는 구조적 모델링이 자연스러운 다자간 생성 방식을 어떻게 지원할 수 있는지에 대한 추가 연구를 촉구합니다.

Group conversations are fundamental to human collaboration, yet standard large language models (LLMs) still struggle with the complexities of multi-party interaction. This challenge persists in part because existing group conversation datasets are often limited to short-term lab settings with contrived tasks, failing to capture the long-term social dynamics of real-world teams. To bridge this gap, we introduce TIDES, a high-resolution longitudinal dataset tracking 12 university project teams over a full semester. Comprising 75,971 utterances in both English and Korean from in-person meetings, TIDES provides a naturalistic record of teams working on self-managed projects. Our socio-structural annotations-covering interaction types, emergent roles, and development stages-allow for modeling of team evolution over months. Experiments show that fine-tuning on TIDES improves next-speaker prediction by 13.8 percentage points over a bigram baseline (64.53%) and yields performance comparable to strong proprietary zero-shot models. The model also comes within 2.1 percentage points of the published state of the art on the AMI Meeting Corpus while using approximately 42% less training data. However, human evaluations suggest that better next-speaker prediction does not necessarily yield more natural or coherent utterances, as fine-tuned models were generally less preferred than vanilla models. This potential mismatch motivates further study of how structural modeling can support natural multi-party generation.