야간 UAV 추적을 위한 이중 프롬프트 기반 특징 인코딩

Dual Prompt-Driven Feature Encoding for Nighttime UAV Tracking

강력한 특징 인코딩은 대상의 외형과 움직임에 대한 미묘한 인식을 가능하게 하여 UAV 추적의 기반이 되며, 안정적인 추적을 보장하는 데 중요한 역할을 합니다. 그러나 기존의 특징 인코딩 방법은 종종 어려운 야간 환경에서 견고한 인식을 위해 필수적인 조명 및 시점 정보를 간과하여 추적 성능이 저하되는 경우가 있습니다. 이러한 한계를 극복하기 위해, 본 연구에서는 프롬프트 기반 특징 적응과 컨텍스트 인식 프롬프트 진화를 통합하여 도메인 불변 특징 인코딩을 촉진하는 이중 프롬프트 기반 특징 인코딩 방법을 제안합니다. 구체적으로, 다중 스케일의 주파수 정보를 포함하는 조명 프롬프트를 추출하기 위한 피라미드 조명 프롬프터를 제안합니다. 동적 시점 프롬프터는 다양한 시점에 대한 샘플링을 조정하여 추적기가 시점 불변 특징을 학습할 수 있도록 합니다. 또한, 동적 시점 프롬프터는 변형 컨볼루션 오프셋을 조정하여 시점 변화를 수용하고 추적기가 시점 불변 특징을 학습할 수 있도록 합니다. 광범위한 실험을 통해 제안하는 이중 프롬프트 기반 추적기(DPTracker)가 야간 UAV 추적 문제 해결에 효과적임을 입증했습니다. Ablation 연구를 통해 DPTracker의 각 구성 요소가 기여하는 바를 강조했습니다. 다양한 야간 UAV 추적 시나리오에서의 실제 테스트는 DPTracker의 견고성과 실용성을 더욱 입증합니다. 코드 및 데모 비디오는 https://github.com/yiheng-wang-duke/DPTracker 에서 확인할 수 있습니다.

Robust feature encoding constitutes the foundation of UAV tracking by enabling the nuanced perception of target appearance and motion, thereby playing a pivotal role in ensuring reliable tracking. However, existing feature encoding methods often overlook critical illumination and viewpoint cues, which are essential for robust perception under challenging nighttime conditions, leading to degraded tracking performance. To overcome the above limitation, this work proposes a dual prompt-driven feature encoding method that integrates prompt-conditioned feature adaptation and context-aware prompt evolution to promote domain-invariant feature encoding. Specifically, the pyramid illumination prompter is proposed to extract multi-scale frequency-aware illumination prompts. %The dynamic viewpoint prompter adapts the sampling to different viewpoints, enabling the tracker to learn view-invariant features. The dynamic viewpoint prompter modulates deformable convolution offsets to accommodate viewpoint variations, enabling the tracker to learn view-invariant features. Extensive experiments validate the effectiveness of the proposed dual prompt-driven tracker (DPTracker) in tackling nighttime UAV tracking. Ablation studies highlight the contribution of each component in DPTracker. Real-world tests under diverse nighttime UAV tracking scenarios further demonstrate the robustness and practical utility. The code and demo videos are available at https://github.com/yiheng-wang-duke/DPTracker.