APQF: 에이전트 기반 프로파일링 가이드 구조적 가지치기 및 적응형 미세 조정과 혼합 정밀 양자화

APQF: Agentic Profiling-Guided Structured Pruning and Mixed-Precision Quantization with Adaptive Fine-Tuning

최신 심층 신경망은 뛰어난 성능을 보이지만, 그 규모 때문에 특히 자원 제약적인 엣지 장치에서 비용이 많이 들고 속도가 느립니다. 가지치기와 양자화는 이러한 문제를 해결하지만, 수동적이고 전문가의 판단에 의존하며, 다양한 아키텍처에 적용하기 어려운 알고리즘을 사용합니다. 또한, 균일한 설정은 각 레이어가 압축에 대해 다르게 반응하는 것을 무시하여 정확도를 저하시킵니다. 본 논문에서는 구조적 가지치기, 혼합 정밀 양자화-인식 학습 및 정확도 복구를 하나의 자동화된 파이프라인으로 결합한 에이전트 기반 프로파일링 가이드 프레임워크인 APQF를 소개합니다. 프로파일링 에이전트는 모델 전체 비용 분포와 각 부분이 가지치기에 얼마나 민감한지를 측정하며, 이 정보를 바탕으로 레이어별 가지치기 비율, 레이어별 비트 폭 및 복구 전략을 결정합니다. 이러한 제안은 LLM(Large Language Model) 플래너에 의해 생성되고 실행 전에 검증됩니다. 저희가 알기로 APQF는 CNN과 Vision Transformer 모두에 대해 LLM 가이드의 의사결정과 완전한 학습-인식 가지치기 및 양자화 파이프라인을 결합한 최초의 프레임워크입니다. APQF를 ResNet, VGG7, ViT, DeiT 및 Swin 아키텍처에 ImageNet-1k 및 CIFAR-10 데이터셋으로 평가했습니다. ImageNet에서 APQF는 원래 비트 연산량의 5.6~7.7% 수준으로 계산량을 줄이며, 정확도는 기준 모델과 거의 동일하게 유지됩니다. 또한, 약 20만 개의 이미지로 학습했을 때 기존의 통합 가지치기 및 양자화 방법보다 Top-1 정확도가 대략 17점 더 높습니다. CIFAR-10에서는 5가지 아키텍처 중 4가지에서 해당 방법보다 더 높은 압축률을 달성했습니다. VGG7에서는 원래 비트 연산량의 0.41%만을 사용하여 93.15%의 정확도를 달성했으며, 이 수준의 압축률에서 전체 정밀도 기준 모델보다 성능이 향상된 유일한 방법입니다. 추가 실험을 통해 균일한 압축이 동일한 계산량을 사용할 때 가장 많은 정확도 손실을 초래하며, 프로파일링 데이터를 플래너에게 제공하지 않으면 모든 모델에 부정적인 영향을 미친다는 것을 확인했습니다. 6개의 LLM 플래너(무료 오픈 가중치 포함) 모두 Swin-Tiny에서 97.4~97.9%의 정확도를 달성했습니다.

Modern deep neural networks achieve strong performance, but their scale makes them costly and slow, especially on resource-constrained edge devices. Pruning and quantization address this, but rely on manual, expert choices and on algorithms that are hard to apply across architectures. Uniform settings also ignore how differently individual layers respond to compression, which costs accuracy. We introduce APQF, an agentic profiling-guided framework that combines structured pruning, mixed-precision quantization-aware training, and accuracy recovery in one automated pipeline. A profiling agent measures how cost is distributed across the model and how sensitive each part is to pruning, and this evidence drives per-layer pruning ratios, per-layer bit-widths, and the recovery strategy, all proposed by LLM planners and validated before execution. To our knowledge, APQF is the first framework to combine LLM-guided, profiling-grounded decisions with a fully training-aware pruning and quantization pipeline for both CNNs and vision transformers. We evaluate APQF on ResNet, VGG7, ViT, DeiT, and Swin using ImageNet-1k and CIFAR-10. On ImageNet it cuts compute to 5.6-7.7 percent of the original bit-operations, a 13-18x reduction, while keeping accuracy close to the baseline, and under a 200K-image budget it stays roughly 17 points higher in Top-1 than existing joint pruning and quantization methods. On CIFAR-10 it compresses further than that method on four of five architectures. On VGG7 it reaches 93.15 percent using only 0.41 percent of baseline bit-operations, the only method at that compression level to improve on its full-precision baseline. Ablations show that uniform compression loses the most accuracy at matched compute, and that withholding profiling data from the planner hurts every model. Six LLM planners, including free open-weight ones, all reach 97.4-97.9 percent on Swin-Tiny.