UniTraffic-Agent: AI City Challenge 2026 Track 3을 위한 통합 교통 영상 추론 모델 - 두 가지 외부 데이터셋 평가 포함

UniTraffic-Agent: Unified Traffic Video Reasoning for AI City Challenge 2026 Track 3 with Two Out-of-Domain Evaluations

교통 영상 이해는 지능형 교통 시스템에서 중요한 문제로 부상했습니다. 도로 영상을 통해 사고, 위반 행위, 그리고 차량과 보행자 간의 상호 작용에 대한 직접적인 증거를 얻을 수 있기 때문입니다. 효과적인 시스템은 교통 사건이 어떻게 발생하는지, 왜 발생하는지, 그리고 관련 상호 작용이 언제 발생하는지를 설명해야 하지만, 이는 교통 영상이 희소한 이벤트와 다양한 시점을 포함하기 때문에 멀티모달 대규모 언어 모델(MLLM)에게는 여전히 어려운 과제입니다. 본 논문에서는 10회 AI City Challenge의 Track 3 (교통 이상 상황 추론 - Traffic Anomaly Reasoning, TAR)에 대한 MR-CAS 솔루션인 UniTraffic-Agent를 소개합니다. UniTraffic-Agent는 광각 카메라로 촬영된 교통 이벤트(FETV) 및 보행자 의도 추론(PSI-VQA)을 위한 두 가지 외부 데이터셋 평가를 포함합니다. UniTraffic-Agent는 시간 정보를 가진 시각적 증거를 샘플링하고, 동일 클립의 모든 질문에 대해 한 번의 요청으로 추론을 수행하며, 작업별 액션 어댑터를 통해 응답을 변환하는 관찰-추론-행동-검증(observe--reason--act--verify) 워크플로우를 따릅니다. 공식 공개 리더보드에서 MR-CAS는 TAR에서 0.5780의 점수로 16위를 차지하고, FETV에서 0.4884의 점수로 2위, PSI-VQA에서 64.4161의 점수로 4위를 기록했습니다. 코드 및 관련 자료는 https://github.com/Roclp/UniTraffic-Agent 에서 확인할 수 있습니다.

Traffic video understanding has become an important problem in intelligent transportation, as road videos provide direct evidence for accidents, violations, and interactions between vehicles and vulnerable road users. A useful system should explain how a traffic event develops, why it happens, and when the relevant interaction occurs, yet this remains difficult for multimodal large language models (MLLMs) because traffic videos contain sparse events and varied viewpoints. We introduce UniTraffic-Agent, the MR-CAS solution for Track~3 of the 10th AI City Challenge, which includes Traffic Anomaly Reasoning (TAR) and two out-of-domain evaluations: FETV for fisheye traffic events and PSI-VQA for pedestrian intention reasoning. UniTraffic-Agent follows an observe--reason--act--verify workflow that samples timestamped visual evidence, reasons over all questions from the same clip in one request, and converts responses through task-specific action adapters. On the official Public leaderboards, MR-CAS ranks 16th on TAR with a score of 0.5780, 2nd on FETV with 0.4884, and 4th on PSI-VQA with 64.4161. The code is available at https://github.com/Roclp/UniTraffic-Agent.