SensingAgents: 견고한 IMU 활동 인식 시스템을 위한 다중 에이전트 협업 프레임워크

SensingAgents: A Multi-Agent Collaborative Framework for Robust IMU Activity Recognition

관성 측정 장치(IMU) 센서를 이용한 인간 활동 인식(HAR)은 모바일 헬스, 스마트 환경 및 인간-컴퓨터 상호작용의 핵심 기술입니다. 그러나 현재 딥러닝 기반 HAR 모델은 종종 레이블된 데이터에 대한 과도한 의존성, 위치별 모호성 및 투명하지 않은 추론이라는 문제점을 가지고 있습니다. 대규모 언어 모델(LLM)을 활용한 협업 에이전트 프레임워크에서 영감을 받아, 우리는 견고한 IMU 활동 인식을 위한 새로운 다중 에이전트 시스템인 SensingAgents를 제안합니다. SensingAgents는 LLM 기반 에이전트를 특정 역할로 구성합니다. 여기에는 위치별 센서 분석(팔, 손목, 벨트, 주머니)을 수행하는 분석 에이전트 그룹, 센서 간 충돌을 동적 및 정적 토론을 통해 해결하는 옹호 에이전트 쌍, 그리고 센서 드리프트 또는 오류 상황에서도 신뢰성을 보장하는 의사 결정 에이전트가 포함됩니다. Shoaib 데이터셋에 대한 평가 결과, SensingAgents는 최첨단 단일 에이전트 및 다중 에이전트 LLM 모델보다 훨씬 뛰어난 성능을 보이며, 제로 설정 환경에서 79.5%의 정확도를 달성했습니다. 이는 기존 에이전트 모델보다 29% 높고, 딥러닝 기반 모델보다 9.4% 높은 수치입니다. 특히, 다중 센서 데이터가 충돌하거나 노이즈가 많은 복잡한 시나리오에서 이러한 성능 향상이 두드러집니다. 본 연구는 다중 에이전트 협업 추론이 보편적인 센싱 시스템의 견고성과 해석 가능성을 향상시키는 데 잠재력을 가지고 있음을 보여줍니다.

Human Activity Recognition (HAR) using Inertial Measurement Unit (IMU) sensors is a cornerstone of mobile health, smart environments, and human-computer interaction. However, current deep learning-based HAR models often struggle with heavy reliance on labeled data, position-specific ambiguity, and a lack of transparent reasoning. Inspired by the advanced agents framework, which emulates a collaborative agent using Large Language Models (LLMs), we propose SensingAgents, a novel multi-agent system for robust IMU activity recognition. SensingAgents organizes LLM-powered agents into specialized roles: a group of Analyst Agents for position-specific sensor analysis (arm, wrist, belt, pocket), a pair of Advocate Agents that resolves sensor conflicts through dynamic and static dialectical debates, and a Decision Agent that ensures reliability under sensor drift or failure. Evaluation on the Shoaib dataset demonstrates that SensingAgents significantly outperforms state-of-the-art single-agent and multi-agent LLM models, achieving an accuracy of 79.5% in a zero setting--29% higher than existing agent models and 9.4% higher than deep learning baselines--particularly in complex scenarios where multi-sensor data is conflicting or noisy. Our work highlights the potential of multi-agent collaborative reasoning for advancing the robustness and interpretability of ubiquitous sensing systems.