프레임을 넘어선 요리: 주방 환경에서의 입체 이벤트 카메라 데이터셋

Cooking beyond Frames: A Stereo Event Camera Dataset in the Kitchen

이벤트 카메라는 높은 시간 분해능, 넓은 동적 범위 및 낮은 전력 소비로 인해 최근 몇 년 동안 상당한 관심을 받고 있습니다. 신경 모방 시각 분야의 많은 연구 및 데이터셋이 자동차 및 드론 응용 분야에 집중되어 있지만, 이벤트 기반 인식 시스템 개발 및 성능 평가에 중요한 인간 중심의 일상 생활 시나리오는 아직 제대로 다루어지지 않고 있습니다. 또한, 기존의 이벤트 기반 인간 활동 데이터셋은 주로 정해진 행동으로 기록되어 자연스러운 인간 행동을 포착하는 데 한계가 있습니다. 본 논문에서는 주방에서 인간이 요리 활동을 하는 장면을 담은 대규모 입체 이벤트 카메라 벤치마크 데이터셋인 EventKitchen을 소개합니다. EventKitchen은 10명의 참가자가 다양한 13개의 주방에서 착용 센서가 장착된 헤드 마운트 카메라로 촬영한 데이터를 기반으로 하며, 참가자들은 스크립트에 따른 행동 없이 자연스럽게 요리 활동을 수행합니다. EventKitchen은 5.5시간 분량의 입체 이벤트 녹화 영상과 함께 동기화된 RGB, 깊이 및 IMU 데이터를 제공합니다. 또한, 10,762개의 동작 세그먼트와 13,482개의 바운딩 박스에 대한 인간 어노테이션을 제공합니다. EventKitchen 데이터셋을 사용하여 액션 인식, 객체 감지 및 입체 깊이 추정 등 다양한 이벤트 기반 작업을 수행하는 기본 모델을 학습했습니다. EventKitchen은 실제 인간의 자연스러운 활동을 담아 자율 주행 외의 신경 모방 시각 분야에 도전적인 벤치마크를 제공합니다.

Event cameras, also known as neuromorphic cameras, have gained significant attention in recent years due to their high temporal resolution, high dynamic range, and low power consumption. While many studies and datasets in neuromorphic vision have focused on automotive and drone applications, human-centric daily-life scenarios remain largely underrepresented, despite their importance for developing and benchmarking event-based perception systems. Moreover, the few existing event-based human activity datasets are typically recorded with scripted human actions, limiting their ability to capture natural human behaviors. In this paper, we introduce EventKitchen, a large-scale stereo event camera benchmark dataset of human cooking activities in the kitchen. EventKitchen is egocentrically collected from 10 participants in 13 diverse kitchens, where the participants wear a helmet with multiple sensors and naturally perform cooking activities, without any scripted actions. EventKitchen comprises 5.5 hours of stereo event recordings with synchronized RGB, depth, and IMU data. We provide human annotations for 10,762 action segments and 13,482 bounding boxes. We train baseline models on EventKitchen to perform multiple event-based tasks, including action recognition, object detection, and stereo depth estimation. By capturing natural, real-world human activities, EventKitchen establishes a challenging benchmark for neuromorphic vision beyond autonomous driving.