MobileKernelBench: LLM이 모바일 기기를 위한 효율적인 커널을 작성할 수 있을까?

MobileKernelBench: Can LLMs Write Efficient Kernels for Mobile Devices?

대규모 언어 모델(LLM)은 코드 생성 분야에서 놀라운 능력을 보여주었지만, 특히 모바일 기기를 위한 커널을 생성하는 데 있어서의 잠재력은 아직 충분히 탐구되지 않았습니다. 본 연구에서는 자동화된 커널 생성의 범위를 모바일 영역으로 확장하여, 핵심적인 질문인 'LLM이 모바일 기기를 위한 효율적인 커널을 작성할 수 있는가?'를 조사합니다. 체계적인 조사를 위해, 운영자 다양성과 프레임워크 간의 상호 운용성을 우선시하는 벤치마크와 호스트-장치 간의 격차를 해소하여 온장치 검증을 가능하게 하는 자동화 파이프라인을 포함하는 종합적인 평가 프레임워크인 MobileKernelBench를 소개합니다. 본 프레임워크를 활용하여, Mobile Neural Network (MNN)의 CPU 백엔드에 대한 광범위한 평가를 수행한 결과, 현재의 LLM은 모바일 프레임워크에 내재된 복잡한 엔지니어링 요구 사항과 데이터 부족 문제를 해결하는 데 어려움을 겪는다는 것을 알 수 있었습니다. 표준 모델과 미세 조정된 모델 모두 높은 컴파일 실패율(54% 이상)을 보였으며, 환각 현상과 도메인 특화 지식 부족으로 인해 성능 향상이 미미했습니다. 이러한 한계를 극복하기 위해, 저장소 정보를 활용한 추론과 계획-실행 패러다임을 갖춘 다중 에이전트 시스템인 Mobile Kernel Agent (MoKA)를 제안합니다. MobileKernelBench에서 검증된 MoKA는 최첨단 성능을 달성하여 컴파일 성공률을 93.7%로 높이고, 생성된 커널 중 27.4%가 네이티브 라이브러리에 비해 측정 가능한 속도 향상을 제공합니다.

Large language models (LLMs) have demonstrated remarkable capabilities in code generation, yet their potential for generating kernels specifically for mobile de- vices remains largely unexplored. In this work, we extend the scope of automated kernel generation to the mobile domain to investigate the central question: Can LLMs write efficient kernels for mobile devices? To enable systematic investigation, we introduce MobileKernelBench, a comprehensive evaluation framework comprising a benchmark prioritizing operator diversity and cross-framework interoperability, coupled with an automated pipeline that bridges the host-device gap for on-device verification. Leveraging this framework, we conduct extensive evaluation on the CPU backend of Mobile Neural Network (MNN), revealing that current LLMs struggle with the engineering complexity and data scarcity inher-ent to mobile frameworks; standard models and even fine-tuned variants exhibit high compilation failure rates (over 54%) and negligible performance gains due to hallucinations and a lack of domain-specific grounding. To overcome these limitations, we propose the Mobile K ernel A gent (MoKA), a multi-agent system equipped with repository-aware reasoning and a plan-and-execute paradigm.Validated on MobileKernelBench, MoKA achieves state-of-the-art performance, boosting compilation success to 93.7% and enabling 27.4% of generated kernelsto deliver measurable speedups over native libraries.