KLAS: 유사성을 활용하여 신경망을 연결하여 정확도와 효율성의 균형을 향상시키는 방법

KLAS: Using Similarity to Stitch Neural Networks for Improved Accuracy-Efficiency Tradeoffs

다양한 환경에서의 모델 배포를 고려할 때, 주어진 컴퓨팅 자원 내에서 최적의 성능을 얻기 위해서는 유연한 모델 선택이 필수적입니다. 최근 연구에서는 사전 훈련된 모델들을 결합하여 정확도와 효율성 간의 균형을 효과적으로 조절할 수 있음을 보여주었습니다. 이러한 결합 방식은 하나의 사전 훈련된 모델에서 다른 모델로 중간 활성화 값을 전달하여 새로운 결합 네트워크를 생성합니다. 이러한 네트워크는 다양한 정확도-효율성 수준에 따른 배포 옵션을 제공합니다. 그러나 기존의 결합 방법들은 종종 최적의 균형을 이루지 못하며, 일반화 가능성이 부족한 경우가 많습니다. 이는 주로 모델 구성 선택에 의존하는 휴리스틱 방법에 기반하기 때문입니다. 우리는 개선된 정확도-효율성 균형을 달성하려면 결합되는 사전 훈련된 모델 간의 유사성을 명시적으로 파악하고 활용해야 한다고 주장합니다. 이를 위해, 저희는 KLAS라는 새로운 결합 선택 프레임워크를 제안합니다. KLAS는 중간 표현 사이의 KL 발산 값을 이용하여 모델 패밀리 전체에서 결합 선택 과정을 자동화하고 일반화합니다. KLAS는 깊이가 n인 k개의 사전 훈련된 모델에 대해 $O(k^2n^2)$ 가지의 가능한 결합 방식 중에서 가장 유망한 이진 결합 방식을 식별합니다. 포괄적인 실험을 통해, KLAS가 기존 방법과 동일한 미세 조정 비용으로 결합된 모델의 정확도-효율성 곡선을 향상시킨다는 것을 입증했습니다. KLAS는 ImageNet-1K 데이터셋에서 최고 1% 정확도를 최대 1.21%까지 향상시키거나, 동일한 정확도를 유지하면서 FLOPs를 1.33배 줄일 수 있습니다.

Given the wide range of deployment targets, flexible model selection is essential for optimizing performance within a given compute budget. Recent work demonstrates that stitching pretrained models within a model family enables cost-effective interpolation of the accuracy-efficiency tradeoff space. Stitching transforms intermediate activations from one pretrained model into another, producing a new interpolated stitched network. Such networks provide a pool of deployment options along the accuracy-efficiency spectrum. However, existing stitching approaches often yield suboptimal tradeoffs and lack generalizability, as they primarily rely on heuristics to select stitch configurations. We argue that constructing improved accuracy-efficiency tradeoffs requires explicitly capturing and leveraging the similarity between pretrained models being stitched. To this end, we introduce KLAS, a novel stitch selection framework that automates and generalizes stitch selection across model families by leveraging KL divergence between intermediate representations. KLAS identifies the most promising binary stitches from the $O(k^2n^2)$ possibilities for $k$ pretrained models of depth $n$. Through comprehensive experiments, we demonstrate that KLAS improves the accuracy-efficiency curve of stitched models at the same finetuning cost as baselines. KLAS achieves up to $1.21\%$ higher ImageNet-1K top-1 accuracy at the same computational cost, or maintains accuracy with a $1.33\times$ reduction in FLOPs.