IoT-Brain: 의미-공간 센서 스케줄링을 위한 LLM 기반 시스템

IoT-Brain: Grounding LLMs for Semantic-Spatial Sensor Scheduling

대규모 센서 네트워크를 기반으로 하는 지능형 시스템은 미리 정의된 모니터링에서 의도 기반 운영으로 전환되면서, 중요한 의미-물리적 매핑 격차를 드러냅니다. 대규모 언어 모델(LLM)은 의미 이해에 뛰어나지만, 기존의 인지 중심 파이프라인은 사후적으로 작동하며, 무엇을 감지하고 언제 감지할 것인지라는 근본적인 의사 결정을 간과합니다. 우리는 이러한 선제적 의사 결정을 의미-공간 센서 스케줄링(S3)으로 공식화하고, 표현, 추론 및 최적화의 근본적인 격차로 인해 직접적인 LLM 계획은 신뢰성이 떨어진다는 것을 입증합니다. 이러한 격차를 해소하기 위해, 우리는 Spatial Trajectory Graph (STG)라는 신경-기호 패러다임을 도입합니다. STG는 '검증 후 실행' 원칙에 따라 작동하며, 개방형 계획을 검증 가능한 그래프 최적화 문제로 변환합니다. STG를 기반으로, 우리는 IoT-Brain이라는 구체적인 시스템을 구현하고, 5,250개의 자연어 쿼리를 포함하는 2,510개의 카메라를 대상으로 하는 캠퍼스 규모의 벤치마크인 TopoSense-Bench를 구축했습니다. 실험 결과, IoT-Brain은 가장 강력한 검색 기반 방법보다 작업 성공률을 37.6% 향상시키고, 실행 속도는 약 2배 빠르며, 프롬프트 토큰 사용량은 6.6배 적습니다. 실제 배포 환경에서, IoT-Brain은 신뢰성 상한에 가까운 성능을 보이며, 네트워크 대역폭을 4.1배 줄여, LLM이 물리적 세계와 상호 작용하는 데 있어 전례 없는 수준의 신뢰성과 효율성을 제공하는 기반 프레임워크를 제공합니다.

Intelligent systems powered by large-scale sensor networks are shifting from predefined monitoring to intent-driven operation, revealing a critical Semantic-to-Physical Mapping Gap. While large language models (LLMs) excel at semantic understanding, existing perception-centric pipelines operate retrospectively, overlooking the fundamental decision of what to sense and when. We formalize this proactive decision as Semantic-Spatial Sensor Scheduling (S3) and demonstrate that direct LLM planning is unreliable due to inherent gaps in representation, reasoning, and optimization. To bridge these gaps, we introduce the Spatial Trajectory Graph (STG), a neuro-symbolic paradigm governed by a verify-before-commit discipline that transforms open-ended planning into a verifiable graph optimization problem. Based on STG, we implement IoT-Brain, a concrete system embodiment, and construct TopoSense-Bench, a campus-scale benchmark with 5,250 natural-language queries across 2,510 cameras. Evaluations show that IoT-Brain boosts task success rate by 37.6% over the strongest search-intensive methods while running nearly 2 times faster and using 6.6 times fewer prompt tokens. In real-world deployment, it approaches the reliability upper bound while reducing 4.1 times network bandwidth, providing a foundational framework for LLMs to interact with the physical world with unprecedented reliability and efficiency.