작은 모델이 더 잘 작동할 때: 듀얼 스테이지 증류 및 파레토 기반 지침을 통한 액체 신경망 압축을 활용한 엣지 배터리 상태 예측

When Smaller Wins: Dual-Stage Distillation and Pareto-Guided Compression of Liquid Neural Networks for Edge Battery Prognostics

배터리 관리 시스템은 점점 더 엄격한 온장치 제약 조건 하에서 정확한 배터리 상태 예측 기능을 요구합니다. 본 논문에서는 DLNet이라는 실용적인 프레임워크를 제안합니다. DLNet은 액체 신경망의 듀얼 스테이지 증류를 통해 고용량 모델을 소형화하여 엣지 환경에 배포할 수 있는 모델로 변환합니다. DLNet은 먼저 액체 역학을 재구성하기 위해 Euler 이산화를 적용하여 임베디드 시스템과의 호환성을 확보합니다. 그런 다음, 듀얼 스테이지 지식 증류를 통해 교사 모델의 시간적 동작을 전송하고 추가 압축 후에도 이를 복원합니다. 공동 오류-비용 목표를 기반으로 한 파레토 기반 선택을 통해 정확성과 효율성의 균형을 이루는 학생 모델을 유지합니다. DLNet은 널리 사용되는 데이터 세트에서 평가되었으며, int8 배포를 통해 Arduino Nano 33 BLE Sense와 같은 실제 장치에서의 실현 가능성을 검증했습니다. 최종적으로 배포된 학생 모델은 향후 100회 충전 사이클 동안 배터리 상태를 예측할 때 0.0066의 낮은 오류율을 달성했으며, 이는 교사 모델보다 15.4% 낮은 수치입니다. 또한 모델 크기는 616 kB에서 94 kB로 줄어들어 84.7% 감소했으며, 장치에서의 추론 시간은 21 ms입니다. 이러한 결과는 적절한 지도 및 선택을 통해 작은 모델이 큰 교사 모델과 동등하거나 더 나은 성능을 발휘하여 엣지 기반 예측을 가능하게 한다는 '작은 모델이 더 잘 작동한다'는 가설을 뒷받침합니다. DLNet 프레임워크는 배터리 외에도 엄격한 하드웨어 제약 조건이 있는 다른 산업 분석 작업에도 적용될 수 있습니다.

Battery management systems increasingly require accurate battery health prognostics under strict on-device constraints. This paper presents DLNet, a practical framework with dual-stage distillation of liquid neural networks that turns a high-capacity model into compact and edge-deployable models for battery health prediction. DLNet first applies Euler discretization to reformulate liquid dynamics for embedded compatibility. It then performs dual-stage knowledge distillation to transfer the teacher model's temporal behavior and recover it after further compression. Pareto-guided selection under joint error-cost objectives retains student models that balance accuracy and efficiency. We evaluate DLNet on a widely used dataset and validate real-device feasibility on an Arduino Nano 33 BLE Sense using int8 deployment. The final deployed student achieves a low error of 0.0066 when predicting battery health over the next 100 cycles, which is 15.4% lower than the teacher model. It reduces the model size from 616 kB to 94 kB with 84.7% reduction and takes 21 ms per inference on the device. These results support a practical smaller wins observation that a small model can match or exceed a large teacher for edge-based prognostics with proper supervision and selection. Beyond batteries, the DLNet framework can extend to other industrial analytics tasks with strict hardware constraints.