ECHO: 챗봇, 인간 행동, 그리고 결과 평가를 위한 개방형 연구 플랫폼

ECHO: An Open Research Platform for Evaluation of Chat, Human Behavior, and Outcomes

ECHO (챗봇, 인간 행동, 그리고 결과 평가)는 대화형 AI 시스템과 웹 검색 엔진과의 인간 상호 작용에 대한 재현 가능한, 혼합 방법론 연구를 지원하도록 설계된 개방형 연구 플랫폼입니다. ECHO는 다양한 분야의 연구자들이 동의 및 사전 설문 조사, 챗봇 기반 및 검색 기반 정보 검색 세션, 작문 또는 판단 작업, 그리고 사전 및 사후 작업 평가를 통합하는 엔드 투 엔드 실험 워크플로우를 단일화되고 코딩 부담이 적은 프레임워크 내에서 수행할 수 있도록 지원합니다. ECHO는 세부적인 상호 작용 기록 및 참여자 응답을 기록하고, 후속 분석을 위한 구조화된 데이터 세트를 제공합니다. ECHO는 챗봇과 검색 기능을 함께 제공하고, 유연한 평가 도구를 지원함으로써, 다양한 정보 접근 방식에서 학습, 의사 결정, 그리고 사용자 경험을 연구하는 데 드는 기술적 장벽을 낮추고, 정보 검색, HCI (Human-Computer Interaction), 그리고 사회 과학 분야의 연구자들이 확장 가능하고 재현 가능한 인간 중심의 AI 평가를 수행할 수 있도록 지원합니다.

ECHO (Evaluation of Chat, Human behavior, and Outcomes) is an open research platform designed to support reproducible, mixed-method studies of human interaction with both conversational AI systems and Web search engines. It enables researchers from varying disciplines to orchestrate end-to-end experimental workflows that integrate consent and background surveys, chat-based and search-based information-seeking sessions, writing or judgment tasks, and pre- and post-task evaluations within a unified, low-coding-load framework. ECHO logs fine-grained interaction traces and participant responses, and exports structured datasets for downstream analysis. By supporting both chat and search alongside flexible evaluation instruments, ECHO lowers technical barriers for studying learning, decision making, and user experience across different information access paradigms, empowering researchers from information retrieval, HCI, and the social sciences to conduct scalable and reproducible human-centered AI evaluations.