장기 시뮬레이션이 밝혀낸 인공지능 동반자의 인지 발달 위험

Long-Term Simulation Exposes Cognitive-Developmental Risks in AI Companions

대규모 언어 모델을 기반으로 작동하는 인공지능 동반자는 어린이 및 청소년을 포함한 인지 발달 단계에 있는 사용자와 점점 더 많은 상호작용을 하며, 시간이 지남에 따라 누적될 수 있는 위험을 초래합니다. 기존의 안전성 평가 방법은 주로 단일 턴 또는 짧은 세션 테스트에 의존하며, 이는 장기간의 상호작용을 통해 나타나는 위험을 포착하지 못합니다. 이러한 간극을 해소하기 위해, 우리는 페르소나 기반 사용자 시뮬레이션, 동적인 심리 상태 업데이트 및 사후 평가를 결합한 종단적 프레임워크인 TSJ(Theater-Stage-Judge)를 제안합니다. 우리는 여섯 가지 주요 모델을 네 가지 발달 단계, 스물네 가지 위험 요소 및 세 가지 심리적 취약성 페르소나에 걸쳐 평가하여 12,960일의 시뮬레이션 사용자 상호작용 데이터를 수집했습니다. TSJ는 단기 테스트가 발달 위험을 체계적으로 과소평가한다는 것을 보여주며, TSJ는 장기간의 시뮬레이션된 관계 내에서 140턴 이후에 안정적인 위험 추정치를 제공합니다. 또한, TSJ를 통해 초기 아동기와 성인기에 진입하는 단계가 가장 취약하며, 인지적 신뢰와 정서적 의존성이 가장 취약한 영역임을 확인했습니다. TSJ는 인공지능 동반 시스템에서 종단적인 인지 발달 위험 평가를 위한 확장 가능한 방법론을 제공합니다.

AI companions powered by large language models increasingly interact with cognition-developing users, including children and adolescents, creating risks that may accumulate over time. Existing safety evaluations largely rely on single-turn or short-session tests, which cannot capture risks that emerge only through prolonged interaction. To address this gap, we propose TSJ (Theater-Stage-Judge), a longitudinal framework combining persona-driven user simulation, dynamic psychological-state updating and retrospective evaluation. We evaluate six mainstream models across four developmental stages, twenty-four risk dimensions and three psychological-vulnerability personas, covering 12,960 simulated person-day interactions. TSJ shows that short-horizon testing systematically underestimates developmental risks, for which TSJ yields a stable risk estimate only after 140 turns within prolonged simulated relationships. Applying TSJ further identifies early childhood and emerging adulthood as the most vulnerable stages, with cognitive trust and emotional dependency as the weakest domains. TSJ provides a scalable methodology for longitudinal cognitive developmental risk evaluation in AI companion systems.