SoccerRef-Agents: 자동 축구 심판을 위한 다중 에이전트 시스템

SoccerRef-Agents: Multi-Agent System for Automated Soccer Refereeing

심판은 스포츠에서 공정하고 정확하며 설명 가능한 판단을 내리는 데 필수적인 역할을 합니다. 지능형 보조 기술이 축구 심판에 널리 도입되고 있지만, 현재의 AI 기반 접근 방식은 아직 초기 단계에 머물러 있습니다. 기존 연구는 주로 개별적인 영상 인식 작업에 집중하며, 반칙 상황을 이해하고 추론하는 능력이 부족합니다. 이러한 격차를 해소하기 위해, 우리는 축구 심판을 위한 종합적이고 설명 가능한 다중 에이전트 의사 결정 프레임워크인 SoccerRef-Agents를 제안합니다. 주요 기여 내용은 다음과 같습니다: (i) 1,200개 이상의 심판 이론 질문과 600개의 반칙 영상 클립으로 구성된 멀티모달 벤치마크 SoccerRefBench 구축; (ii) 최신 "경기 규칙" 및 고전 사례 데이터베이스를 활용하여 정밀하고 지식 기반 추론을 위한 벡터 기반 지식 베이스 RefKnowledgeDB 구축; (iii) 시각적 콘텐츠와 규정 텍스트 간의 의미 격차를 해소하기 위해 교차 모달 RAG를 통해 협력하는 새로운 다중 에이전트 아키텍처 설계. 본 연구는 MLLM(Large Language Model)을 심판 전문 지식과 통합하는 기술적 가능성을 탐구하며, 평가 결과는 제 시스템이 일반적인 MLLM보다 의사 결정 정확도와 설명 품질에서 크게 우수한 것을 보여줍니다. 모든 데이터베이스, 벤치마크 및 코드는 공개될 예정입니다.

Refereeing is vital in sports, where fair, accurate, and explainable decisions are fundamental. While intelligent assistant technologies are being widely adopted in soccer refereeing, current AI-assisted approaches remain preliminary. Existing research mostly focuses on isolated video perception tasks and lacks the ability to understand and reason about foul scenarios. To fill this gap, we propose SoccerRef-Agents, a holistic and explainable multi-agent decision-making framework for soccer refereeing. The main contributions are: (i) constructing the multimodal benchmark SoccerRefBench with over 1,200 referee theory questions and 600 foul video clips; (ii) building a vector-based knowledge base RefKnowledgeDB using the latest "Laws of the Game" and a classic case database for precise, knowledge-driven reasoning; (iii) designing a novel multi-agent architecture that collaborates via cross-modal RAG to bridge the semantic gap between visual content and regulatory texts. This work explores the technical capability of integrating MLLMs with refereeing expertise, and evaluations show our system significantly outperforms general-purpose MLLMs in decision accuracy and explanation quality. All databases, benchmarks, and code will be made available.