인간-로봇 물체 전달 예측 성능 향상을 위한 RGB-D 비디오 생성

RGB-D Video Generation for Improving Human-to-Robot Object Handover Prediction

인간과 로봇 간의 협업을 위한 핵심 기술인 물체 전달은 대규모의 인간 중심 데이터 부족과 시뮬레이션 환경과 실제 환경 간의 격차로 인해 발전이 제한적입니다. 이러한 문제점을 해결하기 위해, 우리는 실제 환경에서 발생하는 노이즈 패턴을 반영하여 수집된 풍부한 상황 정보(예: 자세, 표정)를 제공하는 RGB-D 비디오 데이터셋인 Hand2Bot을 제안합니다. 또한, 안정적인 비디오 확산 모델과 의도 인지 템포럴 페이스 인코더를 활용하여 현실적인 물체 전달 시퀀스를 생성하고, 손-물체 일관성을 보장하는 생성 파이프라인 PassGen을 제안합니다. 시뮬레이션 환경과 실제 환경 간의 격차를 줄이기 위해, 물리적 깊이 맵에서 발견되는 현실적인 센서 노이즈를 재현하는 형태 기반 깊이 편집 전략을 구현했습니다. 실험 결과는 우리 프레임워크가 Ablation 연구 및 실제 로봇 플랫폼에서의 배포 모두에서 높은 의도 식별 정확도를 달성하고 낮은 오작동률을 보임을 보여줍니다. 또한, PassGen으로 학습하면 기존의 손 중심 모델보다 강력한 제로샷 전송과 더 빠른 의도 예측이 가능하며, 이는 공유 작업 공간에서 사회적으로 인식 있는 로봇 행동을 구현하는 데 효과적입니다.

Human-to-robot (H2R) object handover is a fundamental capability for human-robot collaboration, yet progress is hindered by the scarcity of large-scale, human-centric datasets and the significant sim-to-real gap. To address these challenges, we introduce Hand2Bot, an RGB-D video dataset that provides rich contextual information such as body posture and facial expressions, specifically collected for handover scenarios with real-world noise patterns. We further propose PassGen, a generative pipeline that leverages stable video diffusion and an Intention-Aware Temporal Face Encoder to synthesize realistic handover sequences while ensuring hand-object consistency. To bridge the sim-to-real gap, we implement a morphology-based depth editing strategy that replicates realistic sensor noise found in physical depth maps. Experimental evaluations demonstrate that our framework achieves high intention identification accuracy and low false trigger rates in both ablation studies and real-world deployment on a physical robot platform. Our results confirm that training on PassGen allows for robust zero-shot transfer and earlier intention anticipation compared to traditional hand-centric baselines, effectively enabling socially aware robotic behavior in shared workspaces.