FeedbackTrack: 시각 피질에서 영감을 받은 크로스 프레임 피드백을 활용한 트랜스포머 기반 객체 추적

FeedbackTrack: Visual-Cortex-Inspired Cross-Frame Feedback for Transformer Tracking

시각 객체 추적은 효과적인 시간 정보를 통합하는 것이 중요하지만, 대부분의 트랜스포머 기반 추적 모델은 여전히 주로 순방향 특징 추출에 의존합니다. 기존의 시간 정보 처리 방식은 일반적으로 템플릿, 프롬프트, 쿼리 또는 예측 상태를 업데이트하는 반면, 중간 표현은 거의 재사용되어 해당 처리 단계를 조절하지 않습니다. 본 논문에서는 **FeedbackTrack**이라는 시각 피질에서 영감을 받은 새로운 프레임워크를 제안합니다. 이 프레임워크는 사전 학습된 트랜스포머 기반 추적 모델에 희소하고 그룹 수준의 레이어 정렬된 크로스 프레임 피드백을 도입합니다. 이전 프레임의 중간 상태는 분리되고 캐시에 저장되어, 현재 프레임의 해당 트랜스포머 그룹으로 두 가지 경로나 전달됩니다. 첫 번째 경로는 토큰 수준의 쿼리 조절을 위한 'Query Feedback'이고, 두 번째 경로는 컨텍스트에 따른 특징 조절을 위한 'Gate Feedback'입니다. FeedbackTrack은 원래 추적 파이프라인을 유지하면서 고정된 크기의 단일 프레임 캐시만 사용합니다. SPMTrack과 ARTrackV2 데이터셋에서, FeedbackTrack은 LaSOT 및 GOT-10k 데이터셋의 5가지 서로 다른 모델 구조에 대해 일관되게 성능을 향상시켰습니다. 특히, SPMTrack-G 모델의 경우 83.4 AO (Average Object)와 79.1 AUC (Area Under Curve)를 달성했으며, 모델 파라미터는 1% 미만 증가했습니다. 통제된 비교 실험 결과, 크로스 프레임 피드백은 동일 프레임 조절보다 1.8~3.2 AO 포인트 더 높은 성능을 보였으며, 이는 주로 과거 정보의 재사용에서 비롯되는 것을 보여줍니다. 추가적인 분석을 통해 학습된 피드백 강도가 깊이에 따라 불균일하게 조직되어 있다는 사실이 밝혀졌으며, 이는 트랜스포머 기반 추적에서 반복적인 피드백의 효과를 강조합니다.

Visual object tracking requires effective temporal integration, yet most Transformer trackers still rely on predominantly feed-forward feature extraction. Existing temporal mechanisms typically update templates, prompts, queries, or prediction states, while intermediate representations are rarely reused to modulate corresponding processing stages. We propose \textbf{FeedbackTrack}, a visual-cortex-inspired framework that introduces sparse, group-level layer-aligned cross-frame feedback into pretrained Transformer trackers. Previous-frame intermediate states are detached, cached, and returned to corresponding Transformer groups in the current frame through two lightweight pathways: Query Feedback for token-level query modulation and Gate Feedback for context-dependent feature modulation. FeedbackTrack preserves the original tracking pipeline with only a fixed-size one-frame cache. Across SPMTrack and ARTrackV2, FeedbackTrack consistently improves five backbone configurations on LaSOT and GOT-10k, achieving 83.4 AO and 79.1 AUC with SPMTrack-G while adding less than 1\% parameters. Controlled comparisons show that cross-frame feedback outperforms same-frame modulation by 1.8--3.2 AO points, demonstrating that the gains mainly come from recurrent historical information. Further analysis reveals a non-uniform depth-dependent organization of learned feedback strengths, highlighting the effectiveness of recurrent feedback for Transformer tracking.