생존하거나 거짓말하거나: 실시간 스트리밍 플랫폼의 위험 평가를 위한 행동 인식 캡슐 다중 인스턴스 학습

Live or Lie: Action-Aware Capsule Multiple Instance Learning for Risk Assessment in Live Streaming Platforms

실시간 스트리밍은 오늘날 인터넷의 중요한 부분을 차지하며, 방대한 실시간 소셜 상호작용을 가능하게 합니다. 그러나, 이는 여러 참여자 간의 희소하고 조직적인 악의적인 행동으로 인해 발생하는 심각한 위험에 직면하며, 이러한 위험은 종종 정상적인 활동 내에 숨겨져 있어 적시에 정확하게 탐지하기 어렵습니다. 본 연구에서는 실시간 스트리밍 방의 위험 평가에 대한 선구적인 연구를 제시하며, 방 전체 수준의 레이블만이 제공되는 약한 감독 학습 환경을 다룹니다. 우리는 이 문제를 다중 인스턴스 학습(MIL) 문제로 정의하고, 각 방을 '백(bag)'으로 간주하며, 구조화된 사용자-시간 슬롯 캡슐을 '인스턴스(instance)'로 정의합니다. 이러한 캡슐은 특정 시간 창 내의 사용자 행동 서열을 나타내며, 지역적인 행동 패턴을 캡슐화합니다. 이러한 정의를 바탕으로, 우리는 개별 행동과 그룹 수준의 조정 패턴을 모두 모델링하는 행동 인식 캡슐 MIL 프레임워크인 AC-MIL을 제안합니다. AC-MIL은 시계열 동역학과 사용자 간의 의존성을 동시에 인코딩하는 직렬 및 병렬 아키텍처를 통해 다중 수준의 의미론적 정보와 행동적 단서를 포착합니다. 이러한 정보는 강력한 방 수준의 위험 예측을 위해 통합되며, 동시에 행동 세그먼트 수준에서 해석 가능한 증거를 제공합니다. Douyin에서 수집된 대규모 산업 데이터 세트에 대한 광범위한 실험 결과, AC-MIL은 기존의 MIL 및 시퀀스 기반 방법보다 현저히 우수한 성능을 보이며, 실시간 스트리밍 방의 위험 평가 분야에서 새로운 최고 성능을 달성했습니다. 또한, AC-MIL은 캡슐 수준의 해석 가능성을 제공하여, 위험한 행동 세그먼트를 식별하고, 개입을 위한 실행 가능한 증거를 제공합니다. 프로젝트 페이지는 다음 주소에서 확인할 수 있습니다: https://qiaoyran.github.io/AC-MIL/.

Live streaming has become a cornerstone of today's internet, enabling massive real-time social interactions. However, it faces severe risks arising from sparse, coordinated malicious behaviors among multiple participants, which are often concealed within normal activities and challenging to detect timely and accurately. In this work, we provide a pioneering study on risk assessment in live streaming rooms, characterized by weak supervision where only room-level labels are available. We formulate the task as a Multiple Instance Learning (MIL) problem, treating each room as a bag and defining structured user-timeslot capsules as instances. These capsules represent subsequences of user actions within specific time windows, encapsulating localized behavioral patterns. Based on this formulation, we propose AC-MIL, an Action-aware Capsule MIL framework that models both individual behaviors and group-level coordination patterns. AC-MIL captures multi-granular semantics and behavioral cues through a serial and parallel architecture that jointly encodes temporal dynamics and cross-user dependencies. These signals are integrated for robust room-level risk prediction, while also offering interpretable evidence at the behavior segment level. Extensive experiments on large-scale industrial datasets from Douyin demonstrate that AC-MIL significantly outperforms MIL and sequential baselines, establishing new state-of-the-art performance in room-level risk assessment for live streaming. Moreover, AC-MIL provides capsule-level interpretability, enabling identification of risky behavior segments as actionable evidence for intervention. The project page is available at: https://qiaoyran.github.io/AC-MIL/.