다중 턴 대화 지시 튜닝을 위한 데이터 선택

Data Selection for Multi-turn Dialogue Instruction Tuning

지시 튜닝 언어 모델은 점점 더 많은 다중 턴 대화 코퍼스에 의존하지만, 이러한 데이터셋은 종종 노이즈가 많고 구조적으로 일관성이 부족하며, 주제의 일탈, 반복적인 잡담, 그리고 턴 간의 불일치하는 답변 형식이 존재합니다. 본 연구에서는 데이터 선택 관점에서 이러한 문제를 해결하고자 하며, 대화 수준의 프레임워크인 **MDS (Multi-turn Dialogue Selection)**를 제안합니다. MDS는 개별 턴이 아닌 전체 대화를 평가하며, 사용자 쿼리 경로 공간에서 바이너리 기반 선택을 수행하여 대표성이 뛰어나면서도 중복되지 않는 대화를 유지하는 글로벌 커버리지 단계와, 개별 대화 내의 신뢰성을 평가하는 로컬 구조 단계로 구성됩니다. 로컬 단계에서는 개체 기반 주제 연결 및 정보 진행, 그리고 쿼리-응답 형식 일관성을 통해 기능적 정렬을 평가합니다. MDS는 세 가지 다중 턴 벤치마크와 특정 도메인인 은행 관련 테스트 세트에서 강력한 단일 턴 선택기, 대화 수준의 LLM 평가 모델, 그리고 휴리스틱 기반 모델보다 우수한 성능을 보이며, 참조가 없는 지표와 참조 기반 지표 모두에서 가장 높은 순위를 달성했습니다. 또한 동일한 학습 예산 하에서 긴 대화에 대해 더 강력한 성능을 보입니다. 코드 및 관련 자료는 부록 자료에 포함되어 있습니다.

Instruction-tuned language models increasingly rely on large multi-turn dialogue corpora, but these datasets are often noisy and structurally inconsistent, with topic drift, repetitive chitchat, and mismatched answer formats across turns. We address this from a data selection perspective and propose \textbf{MDS} (Multi-turn Dialogue Selection), a dialogue-level framework that scores whole conversations rather than isolated turns. MDS combines a global coverage stage that performs bin-wise selection in the user-query trajectory space to retain representative yet non-redundant dialogues, with a local structural stage that evaluates within-dialogue reliability through entity-grounded topic grounding and information progress, together with query-answer form consistency for functional alignment. MDS outperforms strong single-turn selectors, dialogue-level LLM scorers, and heuristic baselines on three multi-turn benchmarks and an in-domain Banking test set, achieving the best overall rank across reference-free and reference-based metrics, and is more robust on long conversations under the same training budget. Code and resources are included in the supplementary materials.