CD-RMOT-Bench: 교차 도메인 참조 다중 객체 추적 성능 평가

CD-RMOT-Bench: Benchmarking the Cross-Domain Referring Multi-Object Tracking

참조 다중 객체 추적(RMOT)은 객체의 움직임 경로를 자연어 표현에 연결하여, 범주 기반 인식에서 언어 기반 이해로의 전환을 가능하게 합니다. 최근의 발전에도 불구하고, 기존 RMOT 연구는 주로 동일 도메인 환경에서 진행되어 왔으며, 시각적인 도메인 변화가 발생했을 때 언어 기반 추적의 안정성이 어떻게 되는지 충분히 탐구되지 않았습니다. 본 논문에서는 교차 도메인 참조 다중 객체 추적(CD-RMOT)이라는 새로운 과제를 제시하며, 이는 레이블이 있는 소스 도메인에서 학습된 RMOT 모델이 다른 시각 환경을 가진 레이블이 없는 대상 도메인에서도 자연어 표현에 대해 안정적으로 작동하는지 평가합니다. 체계적인 연구를 지원하기 위해, 실제 명확한 도메인의 참조 추적 데이터, 정렬된 디지털 트윈 변형 데이터, 그리고 실제 악조건 환경의 비디오 데이터를 결합한 통합 벤치마크인 CD-RMOT-Bench를 구축했습니다. CD-RMOT-Bench는 제어된 기상/시야 변화 분석과 현실적인 합성-실제 전이 평가를 위한 공유 RMOT 프로토콜을 제공합니다. 또한, 시각적 경로와 참조 표현을 연결하는 쿼리 공간의 안정성을 확보하기 위한 Query-Centric Adaptation (QCA) 프레임워크를 제안합니다. 광범위한 실험 결과는 도메인 변화가 RMOT 성능에 심각한 영향을 미친다는 것을 보여주며, 이는 단순히 객체 탐지 오류뿐만 아니라, 불안정한 표현 기반의 시간적 연관 및 대상 선택 문제에서 비롯되는 경우가 더 많습니다. QCA는 강력한 기준점을 제시하며, CD-RMOT-Bench는 다양한 시각 도메인에서의 견고한 언어 기반 추적을 위한 새로운 방향을 제시합니다.

Referring multi-object tracking (RMOT) extends tracking from category-driven perception to language-guided understanding by grounding object trajectories in natural-language expressions. Despite recent progress, existing RMOT studies are largely conducted under in-domain settings, leaving the robustness of language-conditioned tracking under inevitable visual domain shifts unexplored. In this paper, we study Cross-Domain Referring Multi-Object Tracking (CD-RMOT), a new and challenging problem that evaluates whether an RMOT model trained on a labeled source domain can reliably follow natural-language expressions in an unlabeled target domain with different visual conditions. To support systematic study, we construct CD-RMOT-Bench, a unified benchmark that combines real clear-domain referring tracking data, aligned digital-twin variants, and real adverse-domain videos. CD-RMOT-Bench enables both controlled weather/viewpoint shift analysis and realistic synthetic-real transfer evaluation under a shared RMOT protocol. Further, we provide a Query-Centric Adaptation (QCA) framework, designed to stabilize the query space that bridges visual trajectories and referring expressions. Extensive experiments reveal that domain shifts severely degrade RMOT performance, where the failure is not merely caused by object detection errors but more critically by unstable expression-conditioned temporal association and target selection. QCA establishes a strong baseline, while CD-RMOT-Bench opens a new direction for robust language-guided tracking across visual domains.