감정적 지원 대화용 감정 흐름 언어 모델

Affective Flow Language Model for Emotional Support Conversation

대규모 언어 모델(LLM)은 감정적 지원 대화(ESC)에 널리 활용되어 왔습니다. 그러나 복잡한 다중 턴 지원은 여전히 어려운 과제입니다. 이는 기존의 정렬 방식이 희소한 결과 수준의 신호에 의존하기 때문에 중간 전략 결정에 대한 제한적인 감독을 제공하기 때문입니다. 이러한 격차를 해소하기 위해, 본 논문에서는 감정적 흐름을 모델링하여 다중 턴 경로에 따른 미세한 수준의 감독을 제공하는 감정적 지원 대화용 감정 흐름 언어 모델(AFlow)이라는 프레임워크를 제안합니다. AFlow는 검색된 경로에 대한 중간 유용성을 추정하고, 선호도 일관성 있는 전략 전환을 학습할 수 있습니다. 전략의 일관성과 공감적인 응답 품질을 향상시키기 위해, 하위 경로 수준의 흐름 균형 목표를 제시하여 선호도 신호를 중간 상태로 전파합니다. 실험 결과는 다양한 감정적 맥락에서 경쟁적인 기본 모델보다 일관되고 상당한 성능 향상을 보여줍니다. 특히, AFlow는 작고 공개된 백본을 사용하여 GPT-4o 및 Claude-3.5와 같은 독점적인 LLM보다 주요 ESC 지표에서 더 우수한 성능을 보입니다. 저희 코드는 https://github.com/chzou25-lgtm/AffectiveFlow 에서 확인할 수 있습니다.

Large language models (LLMs) have been widely applied to emotional support conversation (ESC). However, complex multi-turn support remains challenging.This is because existing alignment schemes rely on sparse outcome-level signals, thus offering limited supervision for intermediate strategy decisions. To fill this gap, this paper proposes affective flow language model for emotional support conversation (AFlow), a framework that introduces fine-grained supervision on dialogue prefixes by modeling a continuous affective flow along multi-turn trajectories. AFlow can estimate intermediate utility over searched trajectories and learn preference-consistent strategy transitions. To improve strategy coherence and empathetic response quality, a subpath-level flow-balance objective is presented to propagate preference signals to intermediate states. Experiment results show consistent and significant improvements over competitive baselines in diverse emotional contexts. Remarkably, AFlow with a compact open-source backbone outperforms proprietary LMMs such as GPT-4o and Claude-3.5 on major ESC metrics. Our code is available at https://github.com/chzou25-lgtm/AffectiveFlow.