PsychAgent: 경험 기반의 지속적인 학습 에이전트 - 자기 진화형 심리 상담 시스템

PsychAgent: An Experience-Driven Lifelong Learning Agent for Self-Evolving Psychological Counselor

기존의 AI 심리 상담 시스템은 주로 정적인 대화 데이터셋을 활용한 지도 학습 방식으로 개발됩니다. 하지만 이는 실제 인간 전문가들이 임상 경험과 축적된 지식을 통해 지속적으로 전문성을 향상시키는 방식과는 차이가 있습니다. 이러한 간극을 해소하기 위해, 저희는 경험 기반의 지속적인 학습 에이전트인 PsychAgent를 제안합니다. 첫째, 장기적인 다중 세션 상호 작용에 적합한 메모리 기반 계획 엔진을 구축하여 지속적인 기억과 전략적 계획을 통해 치료적 연속성을 보장합니다. 둘째, 자기 진화를 지원하기 위해, 과거 상담 기록에서 새로운 실질적인 기술을 추출하는 기술 진화 엔진을 설계했습니다. 셋째, 강화 학습 기반의 내부화 엔진을 도입하여 추출된 기술을 모델에 통합하고, 거부 기반 미세 조정(rejection fine-tuning)을 통해 다양한 시나리오에서의 성능 향상을 목표로 합니다. 비교 분석 결과, PsychAgent는 GPT-5.4, Gemini-3와 같은 강력한 범용 LLM 및 특정 분야의 기준 모델보다 모든 평가 지표에서 더 높은 점수를 달성했습니다. 이러한 결과는 지속적인 학습이 다중 세션 상담 응답의 일관성과 전반적인 품질을 향상시킬 수 있음을 시사합니다.

Existing methods for AI psychological counselors predominantly rely on supervised fine-tuning using static dialogue datasets. However, this contrasts with human experts, who continuously refine their proficiency through clinical practice and accumulated experience. To bridge this gap, we propose an Experience-Driven Lifelong Learning Agent (\texttt{PsychAgent}) for psychological counseling. First, we establish a Memory-Augmented Planning Engine tailored for longitudinal multi-session interactions, which ensures therapeutic continuity through persistent memory and strategic planning. Second, to support self-evolution, we design a Skill Evolution Engine that extracts new practice-grounded skills from historical counseling trajectories. Finally, we introduce a Reinforced Internalization Engine that integrates the evolved skills into the model via rejection fine-tuning, aiming to improve performance across diverse scenarios. Comparative analysis shows that our approach achieves higher scores than strong general LLMs (e.g., GPT-5.4, Gemini-3) and domain-specific baselines across all reported evaluation dimensions. These results suggest that lifelong learning can improve the consistency and overall quality of multi-session counseling responses.