LLM 행동에서 인지 퇴행(COGNITIVE ATROPHY)의 이해 및 측정에 대한 연구

Towards Understanding and Measuring COGNITIVE ATROPHY in LLM Behaviour

최근 정신 건강 지원에 사용되는 LLM과 관련된 사례들은 중요한 평가 격차를 드러냅니다. 표면적인 안전성 점수는 모델이 시간에 따라 실제적이고 감정적으로 민감한 상호 작용에서 어떻게 행동하는지를 제대로 반영하지 못합니다. 기존 벤치마크는 지식, 안전성 또는 정적인 응답 품질을 측정하지만, LLM과의 상호 작용이 사용자가 스스로 성찰하고, 대처하고, 의사 결정을 내리는 데 도움이 되는지 여부는 놓치고 있습니다. 우리는 이 누락된 측면을 '인지 퇴행(COGNITIVE ATROPHY)'이라고 정의하며, 이는 안전성과 유용성과는 구별되는 AI 기반 정신 건강 지원에서의 프로세스 수준의 행동 측정입니다. 이를 측정하기 위해, 우리는 1,576개의 완전한 인간이 생성한 상담 대화, 15,680번의 발언, 그리고 5개의 LLM으로부터 얻은 42,230개의 응답으로 구성된 임상 기반 벤치마크인 '인지 퇴행 벤치(COGNITIVE ATROPHY BENCH)'를 개발했습니다. 세 명의 임상 및 신경 심리학 전문가가 사용자 맥락, 응답 행동 및 전반적인 위험 플래그를 포괄하는 20개의 속성 체계를 개발했으며, 6명의 숙련된 임상 검토자가 이를 기반으로 근거를 제시하며 5,324건의 검토 의견을 작성했습니다. 또한, 우리는 사용자 입력 위험 지수(UIRI), 인지 퇴행 위험 지수(ARI) 및 추세 요약을 도입했습니다. 다섯 개의 LLM을 분석한 결과, 단일 대화와 다중 대화 설정에서 모델들이 일관되게 중간에서 높은 수준의 인지 퇴행 관련 행동을 보이는 것으로 나타났습니다. 일반적으로 모델들은 명확한 안전 신호에 반응하지만, 사용자가 해결책이나 의사 결정을 구하는 경우 덜 안정적으로 대응합니다. 주요하게 나타나는 패턴은 직접적인 조언, 문제 해결, 추천 응답, 주제 전환 및 의존성을 강화할 수 있는 확인 형태의 발언입니다. 본 연구는 '인지 퇴행'을 측정 가능하게 만들고, 민감한 LLM 대화에서의 모델 행동을 감사하는 데 필요한 기반을 제공합니다.

Recent incidents involving LLMs used for mental-health support reveal a critical evaluation gap: surface-level safety scores do not capture how models behave across realistic, emotionally sensitive interactions over time. Existing benchmarks measure knowledge, safety, or static response quality, but miss whether LLM interactions help users keep reflecting, coping, and making decisions themselves. We formalize this missing dimension as COGNITIVE ATROPHY, a process-level behavioural measure in AI-mediated mental-health support distinct from safety and helpfulness. To measure it, we introduce COGNITIVE ATROPHY BENCH, a clinically grounded benchmark built from 1,576 fully human-generated counseling conversations, 15,680 turns, and 42,230 responses from five LLMs. Three clinical and neuropsychology experts developed a 20-attribute schema spanning user context, response behaviour, and global risk flags; six trained clinical reviewers applied it with span-grounded evidence, producing 5,324 reviewer judgments. We further introduce the User-Input Risk Index (UIRI), the Cognitive Atrophy Risk Index (ARI), and trajectory summaries. Across five LLMs, models show a consistent moderate-to-high level of atrophy-aligned behaviour across single and multi-turn settings. While models generally respond to overt safety cues, they adapt less reliably when users seek solutions or decisions. The dominant recurring patterns are directive advice, problem-solving, recommendation responses, topic shifts, and forms of validation that may reinforce dependence rather than reflection. Our work makes COGNITIVE ATROPHY measurable and provides a foundation for auditing model behaviour in sensitive LLM conversations.