임베디드 아레나: 하드웨어 피드백을 통한 반복적 최적화

Embedded Arena: Iterative Optimization via Hardware Feedback

야생 동물 모니터링 스테이션부터 의료용 웨어러블 기기까지, 임베디드 장치는 지연, 통신 또는 개인 정보 보호 제약으로 인해 로컬 AI 추론이 필요합니다. 다양한 마이크로컨트롤러(MCU)에 대한 모델 최적화는 메모리, 전력, 온도와 같은 엄격한 물리적 제약을 동시에 만족하면서 정확도를 유지해야 하며, 이는 다차원 최적화 문제이며 현재 전문가가 수동으로 수행하고 있습니다. 본 연구에서는 LLM 에이전트가 실제 하드웨어 피드백에 따라 이 복잡하고 여러 단계로 구성된 프로세스를 자율적으로 탐색할 수 있는지 질문하며, 에이전트가 모델과 펌웨어를 반복적으로 개선하는 하드웨어-인-더-루프 에이전트 아레나를 소개합니다. 여기에는 실제 하드웨어에서 컴파일, 플래싱 및 측정을 수행하여 폐쇄 루프 최적화를 가능하게 합니다. Claude Opus 4.7 및 Gemini 3.1 Pro와 같은 최첨단 모델은 하드웨어 피드백 없이 완전히 실패하며 (배포 성공률 0%), 반면 본 연구에서 제안하는 하드웨어-인-더-루프 방식은 세 번의 반복 내에 최초로 성공적인 배포를 달성했으며, 일곱 번 이내에 인간 전문가의 결과를 능가할 수 있습니다. 이러한 에이전트 기반 공동 최적화는 3.3% 미만의 정확도 손실로 비전 모델을 최대 250배 압축하고, 6% 미만의 특징 오류율 손실로 오디오 모델을 최대 400배 압축하여 태양광 수확을 통해 상용 MCU에서 배터리 없이 작동할 수 있도록 합니다. 본 연구는 두 가지 실제 시스템에 대한 실질적인 영향력을 보여줍니다: 96.7%의 정확도를 보이는 사슴 감지 카메라 트랩과 8.44%의 특징 오류율을 갖는 아동 발달 연구를 위한 음성-음향 전사 웨어러블 기기입니다.

Embedded devices from wildlife monitoring stations to clinical wearables require local AI inference due to latency, communication, or privacy constraints. Optimizing models for heterogeneous microcontrollers (MCUs) requires simultaneously satisfying hard physical constraints on memory, power, and temperature while preserving accuracy, a multidimensional optimization that is today performed manually by experts. We ask whether an LLM agent can autonomously navigate this complex, multi-turn pipeline guided by real hardware feedback, and introduce a hardware-in-the-loop agent arena in which the agent iteratively refines both model and firmware -- compiling, flashing, and measuring on real hardware -- to enable closed-loop optimization. Frontier models, including Claude Opus 4.7 and Gemini 3.1 Pro, fail entirely without hardware feedback (0% deployment success), whereas our hardware-in-the-loop formulation achieves the first successful deployment within three iterations and can surpass human expert results within seven. This agentic co-optimization achieves 250x compression for vision models with <3.3% accuracy loss and 400x for audio with <6% Feature Error Rate loss, enabling battery-free operation on a commercial MCU via solar harvesting. We demonstrate practical impact in two real-world systems: an elk-detection camera trap (96.7% accuracy) and a phonetic-transcription wearable (8.44% FER) for child development research.