IMPACT: 산업 조립 환경에서의 다단계 인간 작업 이해를 위한 데이터셋

IMPACT: A Dataset for Multi-Granularity Human Procedural Action Understanding in Industrial Assembly

본 논문에서는 산업 현장에서 실제 조립 및 분해 작업을 기반으로 구축된, 실용적인 산업 공정 이해를 위한 동기화된 5개의 RGB-D 데이터셋인 IMPACT를 소개합니다. IMPACT는 전문가용 도구를 사용하여 상업용 각밀링기를 조립하고 분해하는 과정을 담고 있으며, 지금까지 알려진 바로는, IMPACT는 실시간으로 동기화된 1인칭 및 3인칭 RGB-D 데이터를 제공하고, 독립적인 양손 동작에 대한 주석, 규정 준수를 고려한 상태 추적, 그리고 단일 산업 작업 흐름 내에서 명시적인 이상 감지 및 복구 과정을 포함하는 최초의 실제 산업 조립 벤치마크입니다. 이 데이터셋은 13명의 참가자가 수행한 112개의 실험으로 구성되어 있으며, 총 39.5시간 분량입니다. 실험은 부분 순서 전제 그래프, 6가지 유형의 이상 분류, 그리고 NASA-TLX를 통한 작업자 인지 부하 측정에 따라 다양한 경로로 진행됩니다. 주석 계층 구조는 손에 특화된 원자적 동작을, 조립 단계, 부품 조립 상태, 그리고 각 손의 규정 준수 단계와 연결합니다. 또한, 다양한 뷰에서 동기화된 'null span'을 사용하여 인식적 한계를 알고리즘 오류와 분리합니다. 체계적인 실험 결과는 단일 작업 벤치마크로는 파악하기 어려운 근본적인 한계를 보여주며, 특히 불완전한 관찰, 유연한 실행 경로, 그리고 수정 행동을 포함하는 실제 사용 환경에서 이러한 한계가 더욱 두드러집니다. 전체 데이터셋, 주석 및 평가 코드는 https://github.com/Kratos-Wen/IMPACT 에서 확인할 수 있습니다.

We introduce IMPACT, a synchronized five-view RGB-D dataset for deployment-oriented industrial procedural understanding, built around real assembly and disassembly of a commercial angle grinder with professional-grade tools. To our knowledge, IMPACT is the first real industrial assembly benchmark that jointly provides synchronized ego-exo RGB-D capture, decoupled bimanual annotation, compliance-aware state tracking, and explicit anomaly--recovery supervision within a single real industrial workflow. It comprises 112 trials from 13 participants totaling 39.5 hours, with multi-route execution governed by a partial-order prerequisite graph, a six-category anomaly taxonomy, and operator cognitive load measured via NASA-TLX. The annotation hierarchy links hand-specific atomic actions to coarse procedural steps, component assembly states, and per-hand compliance phases, with synchronized null spans across views to decouple perceptual limitations from algorithmic failure. Systematic baselines reveal fundamental limitations that remain invisible to single-task benchmarks, particularly under realistic deployment conditions that involve incomplete observations, flexible execution paths, and corrective behavior. The full dataset, annotations, and evaluation code are available at https://github.com/Kratos-Wen/IMPACT.