IMPACT-Scribe: 경계 스케치와 쿼리 계획을 이용한 인터랙티브 시간 기반 동작 분할

IMPACT-Scribe: Interactive Temporal Action Segmentation with Boundary Scribbles and Query Planning

절차 활동 동영상에 대한 정밀한 시간 기반 주석은 동작 이해 및 인공지능 구현에 필수적이지만, 현재 사용되는 도구들은 반응형으로 작동하여 많은 노동력을 필요로 합니다. 기존 방식은 각 수정 사항을 독립적인 편집으로 취급하여, 주석 작성자의 불확실성 및 모델 신뢰성에 대한 정보를 재사용하는 데 제한이 있습니다. 본 논문에서는 IMPACT-Scribe라는 수정 사항 기반의 정밀 주석 프레임워크를 소개합니다. IMPACT-Scribe는 각 수정 사항을 활용하여 인간-기계 협업을 개선합니다. IMPACT-Scribe는 불확실성을 고려한 경계 스케치 지도 학습, 지역 제안 모델링, 비용 기반 쿼리 계획, 구조적 전파, 그리고 수정 사항 기반 적응 기능을 결합합니다. 실험 결과 및 사용자 연구를 통해, 이러한 폐쇄 루프 설계가 주석 품질을 향상시키고, 단위 노력당 효율성을 높이며, 경계 정확도를 개선하고, 인간-기계 상호 작용을 향상시키는 것을 확인했습니다. 개발 코드는 https://github.com/BanzQians/IMPACT_AS 에서 공개될 예정입니다.

Dense temporal annotation of procedural activity videos is vital for action understanding and embodied intelligence but remains labor-intensive due to reactive tools. Each correction is treated as an isolated edit, limiting reuse of information on annotator uncertainty and model reliability. We introduce IMPACT-Scribe, a correction-driven framework for dense labeling that uses each correction to improve future human-machine collaboration. IMPACT-Scribe combines uncertainty-aware boundary scribble supervision, local proposal modeling, cost-aware query planning, structured propagation, and correction-driven adaptation. Experiments and a human study show that this closed-loop design improves labeling quality per effort, enhances boundary accuracy, and fosters better human-machine interaction over time. The code will be made publicly available at https://github.com/BanzQians/IMPACT_AS.