IMPACT-HOI: 인간-객체 상호작용(HOI) 이벤트 구조화를 위한 온셋-앵커 기반 부분 이벤트 생성의 감독 제어

IMPACT-HOI: Supervisory Control for Onset-Anchored Partial HOI Event Construction

본 논문에서는 인간 시연으로부터 로봇 조작 학습을 위한 고품질의 구조화된 감독 정보를 제공하기 위해, 개인 시점 동영상에 대한 인간-객체 상호작용(HOI) 구조화된 이벤트 그래프를 생성하는 혼합 주도 방식 프레임워크인 IMPACT-HOI를 제시합니다. IMPACT-HOI는 이 작업을 부분적으로 지정된, 온셋-앵커 기반 이벤트 상태의 점진적인 해결 문제로 정의합니다. 신뢰도에 맞춰 조정된 제어기는 직접적인 질문, 사용자가 확인한 제안, 그리고 실제 사용자 행동과 증거 품질을 기반으로 한 보수적인 완료 옵션 중에서 선택합니다. 원자적 롤백을 사용하는 위험 제한 실행 프로토콜은 사용자가 확인한 결정이 충돌하는 자동 업데이트에 의해 손실되지 않도록 보장합니다. 9명의 참가자를 대상으로 진행된 사용자 연구 결과, 제안된 프로토콜은 수동 어노테이션 작업 횟수를 13.5% 줄이고, 이벤트 일치율을 46.67%로 높이며, 확인된 필드 위반 사례가 0건임을 확인했습니다. 코드 및 관련 자료는 https://github.com/541741106/IMPACT_HOI 에서 공개될 예정입니다.

We present IMPACT-HOI, a mixed-initiative framework for annotating egocentric procedural video by constructing structured event graphs for Human-Object Interactions (HOI), motivated by the need for high-quality structured supervision for learning robot manipulation from human demonstration. IMPACT-HOI frames this task as the incremental resolution of a partially specified, onset-anchored event state. A trust-calibrated controller selects among direct queries, human-confirmed suggestions, and conservative completions based on empirical annotator behavior and evidence quality. A risk-bounded execution protocol, utilizing atomic rollback, ensures that human-confirmed decisions are preserved against conflicting automated updates. A user study with 9 participants shows a 13.5% reduction in manual annotation actions, a 46.67% event match rate, and zero confirmed-field violations under the studied protocol. The code will be made publicly available at https://github.com/541741106/IMPACT_HOI.