현장 경험에서 얻은 교훈: 응용 대화 요약에 대한 적응 가능한 라이프사이클 접근 방식

Lessons from the Field: An Adaptable Lifecycle Approach to Applied Dialogue Summarization

다자간 대화의 요약은 산업 전반에 걸쳐 지식 전달과 운영 효율성을 향상시키는 중요한 기능입니다. 그러나 고품질 요약을 자동으로 생성하는 것은 매우 어려운 과제이며, 이상적인 요약은 다양한 복잡한 요구 사항을 충족해야 합니다. 요약 기술은 연구 분야에서 많은 관심을 받았지만, 기존 연구는 주로 정적인 데이터셋과 벤치마크를 사용했으며, 이는 실제 시나리오에서는 요구 사항이 끊임없이 변화하는 경우가 많기 때문에 한계가 있습니다. 본 연구에서는 다자간 상호 작용을 요약하는 에이전트 기반 시스템 개발에 대한 산업 사례 연구를 제시합니다. 실용적인 통찰력을 공유하여 실무자들이 신뢰할 수 있고 적응 가능한 요약 시스템을 구축하는 데 도움이 되도록 하며, 향후 연구에 도움이 되도록 개발 라이프사이클 전반에 걸쳐 다음 사항을 다룹니다. 1) 변화하는 요구 사항과 작업의 주관성에도 불구하고 견고한 평가 방법을 제시합니다. 2) 에이전트 기반 아키텍처에서 비롯되는 작업 분해를 통해 구성 요소별 최적화를 가능하게 합니다. 3) 상위 데이터 병목 현상이 미치는 영향을 분석합니다. 4) LLM 프롬프트의 낮은 전송성으로 인한 벤더 종속성의 현실을 설명합니다.

Summarization of multi-party dialogues is a critical capability in industry, enhancing knowledge transfer and operational effectiveness across many domains. However, automatically generating high-quality summaries is challenging, as the ideal summary must satisfy a set of complex, multi-faceted requirements. While summarization has received immense attention in research, prior work has primarily utilized static datasets and benchmarks, a condition rare in practical scenarios where requirements inevitably evolve. In this work, we present an industry case study on developing an agentic system to summarize multi-party interactions. We share practical insights spanning the full development lifecycle to guide practitioners in building reliable, adaptable summarization systems, as well as to inform future research, covering: 1) robust methods for evaluation despite evolving requirements and task subjectivity, 2) component-wise optimization enabled by the task decomposition inherent in an agentic architecture, 3) the impact of upstream data bottlenecks, and 4) the realities of vendor lock-in due to the poor transferability of LLM prompts.