DIAL-SUMMER: 대화 요약의 계층적 오류에 대한 체계적인 평가 프레임워크

DIAL-SUMMER: A Structured Evaluation Framework of Hierarchical Errors in Dialogue Summaries

대화는 인간의 주요 소통 방식이며, 이를 자동으로 요약하는 것은 매우 유용합니다 (예: 회의에서 논의된 주요 내용을 검토하거나, 고객 상담사와 제품 사용자 간의 대화를 검토하는 데 사용). 기존의 대화 요약 평가 연구는 이 작업의 고유한 복잡성을 대부분 간과합니다. (i) 구조의 변화, 즉 여러 화자가 정보를 다양한 방식으로 이야기하는 대화에서 요약문의 문장으로의 변화, 그리고 (ii) 서술 시점의 변화, 즉 화자의 1인칭/2인칭 서술에서 요약문의 표준화된 3인칭 서술로의 변화가 있습니다. 본 연구에서는 위에서 언급한 문제점을 해결하기 위한 프레임워크 DIAL-SUMMER를 소개합니다. 우리는 DIAL-SUMMER의 오류 분류 체계를 제안하여 대화 요약을 두 가지 계층적 수준에서 종합적으로 평가합니다. 첫째는 전체적인 화자와 대화 흐름에 초점을 맞춘 '대화 수준(DIALOGUE-LEVEL)'이고, 둘째는 각 발화 내의 정보에 초점을 맞춘 '발화 내 수준(WITHIN-TURN-LEVEL)'입니다. 우리는 또한 DIAL-SUMMER 데이터셋을 구성하고, 이 데이터셋은 우리의 오류 분류 체계에 따라 세밀하게 주석이 달린 대화 요약으로 구성되어 있습니다. 우리는 이러한 주석이 달린 오류에 대한 실증적 분석을 수행하고 흥미로운 경향을 관찰했습니다 (예: 대화 중간에 발생하는 발화는 요약에서 가장 자주 누락되는 경향이 있으며, 외부 정보의 환각 현상은 주로 요약의 끝부분에서 발생하는 경향이 있습니다). 또한 우리는 LLM(Large Language Model) 평가기의 이러한 오류 감지 능력을 실험을 통해 평가했습니다. 이러한 실험을 통해 우리의 데이터셋이 얼마나 어려운지, 우리의 오류 분류 체계가 얼마나 견고한지, 그리고 이 분야에서 향후 LLM의 성능을 향상시키기 위한 연구가 얼마나 필요한지를 보여줍니다. 코드 및 추론 데이터셋은 곧 공개될 예정입니다.

Dialogues are a predominant mode of communication for humans, and it is immensely helpful to have automatically generated summaries of them (e.g., to revise key points discussed in a meeting, to review conversations between customer agents and product users). Prior works on dialogue summary evaluation largely ignore the complexities specific to this task: (i) shift in structure, from multiple speakers discussing information in a scattered fashion across several turns, to a summary's sentences, and (ii) shift in narration viewpoint, from speakers' first/second-person narration, standardized third-person narration in the summary. In this work, we introduce our framework DIALSUMMER to address the above. We propose DIAL-SUMMER's taxonomy of errors to comprehensively evaluate dialogue summaries at two hierarchical levels: DIALOGUE-LEVEL that focuses on the broader speakers/turns, and WITHIN-TURN-LEVEL that focuses on the information talked about inside a turn. We then present DIAL-SUMMER's dataset composed of dialogue summaries manually annotated with our taxonomy's fine-grained errors. We conduct empirical analyses of these annotated errors, and observe interesting trends (e.g., turns occurring in middle of the dialogue are the most frequently missed in the summary, extrinsic hallucinations largely occur at the end of the summary). We also conduct experiments on LLM-Judges' capability at detecting these errors, through which we demonstrate the challenging nature of our dataset, the robustness of our taxonomy, and the need for future work in this field to enhance LLMs' performance in the same. Code and inference dataset coming soon.