기기 우선 피드백: 모바일 환경에 최적화된 LLM 기반 신경망 구조 탐색

Device-First Feedback: Toward Mobile-Native LLM-Driven Neural Architecture Search

대규모 언어 모델(LLM)이 생성한 컨볼루션 신경망을 실제 모바일 하드웨어에 배포하려면 GPU 검증 정확도 외에도 INT8 TensorFlow Lite 내보내기, 델리게이트 선택, 온디바이스 지연 시간 등이 함께 고려되어야 합니다. 본 논문에서는 아키텍처 생성 LLM의 QLoRA 미세 조정부터 GPU 평가, INT8 내보내기 및 물리적 장치 벤치마킹을 거쳐 학습 데이터 증강까지 전체 과정을 자동화하는 모바일 배포 파이프라인을 제시합니다. 이 파이프라인은 완전하게 스크립트 처리되어 수동 개입 없이 주기적으로 실행되며, 중단 발생 시 복구 기능을 지원합니다. 삼성 SM-P613 태블릿(seed 42, 각 주기당 20개 모델, 0~6주기)에서 CIFAR-10 및 CIFAR-100 두 개의 벤치마크를 사용하여 동일한 고정된 프로토콜로 평가했습니다. CIFAR-10의 경우, 1주기에 해당 모델이 게이트 검증을 통과하여 기준 모델 대비 모바일 배포 점수를 약 25.6배 향상시켰으며, 평균 양자화 정확도는 46.9%였습니다. 이후 주기에서는 GPU 정확도가 향상되었지만, 모바일 게이트를 만족하지 못했습니다. CIFAR-100의 경우, QLoRA 미세 조정 이전의 기준 모델이 가장 좋은 모바일 점수를 유지했으며, 반복적인 학습을 통해 GPU 정확도는 최대 26.2%까지 향상되었지만, 0주기에 달성한 온디바이스 성능을 넘어서지 못했고, 학습 데이터 풀은 첫 번째 게이트 검증 통과 후 19개의 예제로 정체되었습니다. 두 가지 연구 결과는 폐쇄 루프 GPU 미세 조정이 반드시 모바일 성능 향상을 보장하지 않으며, 특히 더 어려운 분류 작업에서는 다중 데이터셋을 사용한 온디바이스 측정이 배포 목표를 효과적으로 검증하는 데 필요하다는 것을 보여줍니다. 본 논문에서는 각 주기별 지표(95% 신뢰 구간 포함), 모든 그림 및 완전한 재현 명령어를 공개합니다.

Deploying convolutional neural networks generated by large language models (LLMs) on real mobile hardware requires more than GPU validation accuracy: INT8 TensorFlow Lite export, delegate selection, and on-device latency jointly determine whether a model is usable. We present an automated mobile deployment pipeline that closes the loop from QLoRA fine-tuning of an architecture-generating LLM through GPU evaluation, INT8 export, and physical-device benchmarking to gated augmentation of the training corpus. The pipeline is fully scripted and runs cycle-by-cycle without manual intervention, with resume support after interruptions. We evaluate the same frozen protocol on two benchmarks, CIFAR-10 and CIFAR-100, on a Samsung SM-P613 tablet (seed 42, 20 models per cycle, cycles 0-6). On CIFAR-10, cycle 1 is gate-accepted and improves the mobile deployment score approximately 25.6x over the baseline with a mean quantized accuracy of 46.9%; later cycles raise GPU accuracy but fail the non-decreasing mobile gate. On CIFAR-100, the pre-QLoRA baseline retains the best mobile score; iterative rounds improve GPU accuracy (up to 26.2%) yet cannot surpass cycle 0 on-device, and the training pool stalls at 19 examples after the first accepted round. Together, the two studies show that closed-loop GPU fine-tuning does not guarantee monotonic mobile gains, especially on harder classification tasks, and that multi-dataset, on-device measurement is needed to stress-test deployment objectives. We release per-cycle metrics with 95% confidence intervals, all figures, and complete reproduction commands.