느긋한가, 효율적인가? LLM을 활용한 접근 가능한 시선 추적 이벤트 탐지 기술

Lazy or Efficient? Towards Accessible Eye-Tracking Event Detection Using LLMs

시선 이벤트 탐지는 시각 과학, 인간-컴퓨터 상호 작용, 그리고 응용 분석 분야에서 중요한 역할을 합니다. 그러나 현재의 워크플로우는 종종 전문적인 프로그래밍 지식과 다양한 원시 데이터 형식에 대한 세심한 처리를 요구합니다. I-VT 및 I-DT와 같은 기존 탐지기는 효과적이지만 전처리 및 파라미터 설정에 매우 민감하여, 전문적인 연구실 밖에서의 활용을 제한합니다. 본 연구에서는 코딩 없이도 대규모 언어 모델(LLM)을 기반으로 작동하는 파이프라인을 소개합니다. 이 시스템은 자연어 명령을 사용하여 엔드투엔드 분석을 수행하며, (1) 원시 시선 추적 파일을 검사하여 구조와 메타데이터를 추론하고, (2) 간결한 사용자 프롬프트를 기반으로 데이터 정리 및 탐지기 구현을 위한 실행 가능한 루틴을 생성하며, (3) 생성된 탐지기를 사용하여 고정 및 사각 운동을 라벨링하고, (4) 결과 및 설명 보고서를 제공하며, 사용자가 프롬프트를 수정하여 코드를 반복적으로 최적화할 수 있도록 합니다. 공개 벤치마크에서 평가한 결과, 이 방법은 기존 방법과 유사한 정확도를 달성하면서도 기술적인 부담을 크게 줄입니다. 이 프레임워크는 시선 추적 연구의 진입 장벽을 낮추고, 코딩이 많은 워크플로우에 대한 유연하고 접근 가능한 대안을 제공합니다.

Gaze event detection is fundamental to vision science, human-computer interaction, and applied analytics. However, current workflows often require specialized programming knowledge and careful handling of heterogeneous raw data formats. Classical detectors such as I-VT and I-DT are effective but highly sensitive to preprocessing and parameterization, limiting their usability outside specialized laboratories. This work introduces a code-free, large language model (LLM)-driven pipeline that converts natural language instructions into an end-to-end analysis. The system (1) inspects raw eye-tracking files to infer structure and metadata, (2) generates executable routines for data cleaning and detector implementation from concise user prompts, (3) applies the generated detector to label fixations and saccades, and (4) returns results and explanatory reports, and allows users to iteratively optimize their code by editing the prompt. Evaluated on public benchmarks, the approach achieves accuracy comparable to traditional methods while substantially reducing technical overhead. The framework lowers barriers to entry for eye-tracking research, providing a flexible and accessible alternative to code-intensive workflows.