혼잡한 장면에서의 깊이 기반 동영상 객체 계수

Depth-Guided Video Object Counting in Crowded Scenes

본 연구의 주요 목표는 혼잡한 장면에서 동영상 객체 계수를 향상시키는 것입니다. 특정 텍스트 또는 시각적 정보(프롬프트)를 바탕으로 대상 범주의 모든 객체를 안정적으로 세는 것을 목표로 합니다. 기존 방법은 주로 RGB 정보를 활용하지만, 이는 혼잡하고 가려진 환경에서 분별력을 제한할 수 있습니다. 이러한 문제를 해결하기 위해, 본 연구에서는 깊이 정보를 활용하는 검출기(Depth-Guided Detector, DG-Det)와 일반적인 후처리 파이프라인을 제안합니다. 저희 방법은 다중 스케일 RGB-D 크로스 어텐션과 명시적인 폐색 예측을 통해 깊이 정보를 통합하여 공간적 이해도를 높이고 혼잡하고 가려진 장면에서도 안정적인 검출 성능을 달성합니다. 또한, 프레임 간 중복 계산을 제거하기 위한 통일된 중복 제거 프레임워크를 도입했습니다. 향후 연구를 지원하기 위해, 깊이 정보와 다양한 객체 범주가 포함된 새로운 RGB-D 동영상 객체 계수 데이터셋을 공개합니다. 광범위한 실험 결과, 제안하는 방법은 기존의 기준 모델보다 MAE (Mean Absolute Error)를 62.01% 감소시키고 RMSE (Root Mean Squared Error)에서도 일관성 있는 성능 향상을 보였습니다. 소스 코드는 https://github.com/streamer-AP/DG-Net 에서, 데이터셋은 https://huggingface.co/datasets/aerospace123/RGBD-VideoCount 에서 확인할 수 있습니다.

Our primary objective is to advance video object counting in crowded scenes, aiming to robustly count all instances of a target category based on given text or visual prompts. Existing methods rely on RGB information, limiting their discriminative ability in crowded and occluded conditions. To address this, we propose a Depth-Guided Detector (DG-Det) along with a general post-processing pipeline. By integrating depth cues with multi-scale RGB-D cross-attention and explicit occlusion prediction, our method enhances spatial understanding and achieves robust detection in crowded and occluded scenes. Furthermore, we introduce a unified de-duplication framework to eliminate cross-frame redundant counting. To facilitate future research, we also release a new RGB-D Video Object Counting dataset featuring depth information and multiple object categories persequence. Extensive experiments demonstrate that our method achieves a 62.01\% reduction in MAE compared to existing baselines, and also produces consistent improvements in RMSE. We provide the source code at https://github.com/streamer-AP/DG-Net and the dataset at https://huggingface.co/datasets/aerospace123/RGBD-VideoCount.