LOCUS: 효율적인 모델 탐색, 비교 및 선택을 위한 저차원 모델 임베딩

LOCUS: Low-Dimensional Model Embeddings for Efficient Model Exploration, Comparison, and Selection

대규모 언어 모델(LLM) 생태계의 급속한 성장은 방대하고 역동적인 모델 풀을 효과적으로 관리하고 활용하는 데 점점 더 큰 어려움을 야기합니다. 본 논문에서는 LOCUS라는 방법을 제안합니다. LOCUS는 언어 모델의 다양한 기능들을 간결하게 표현하는 저차원 벡터 임베딩을 생성합니다. LOCUS는 어텐션 기반 접근 방식으로, 쿼리 인코딩과 평가 점수를 인코더 모델을 통해 결정적으로 처리하여 임베딩을 생성합니다. 이를 통해 새로운 모델을 기존 풀에 원활하게 통합하고 기존 모델 임베딩을 개선할 수 있으며, 재학습이 필요하지 않습니다. 또한, 모델 임베딩과 쿼리 인코딩을 사용하여 정확도를 예측하는 모델을 추가적으로 훈련하여, 아직 평가되지 않은 쿼리에 대한 최첨단 라우팅 정확도를 달성합니다. 실험 결과, LOCUS는 기준 모델보다 최대 4.8배 적은 쿼리 평가 샘플로 유용하고 견고한 임베딩을 생성합니다. 또한, 학습된 임베딩 공간은 기하학적으로 의미가 있어, 모델 간의 유사성을 반영하며, 모델 비교 및 클러스터링, 모델 포트폴리오 선택, 그리고 사용 불가능한 모델에 대한 안정적인 대체 모델 등 다양한 응용 분야에 활용될 수 있습니다.

The rapidly growing ecosystem of Large Language Models (LLMs) makes it increasingly challenging to manage and utilize the vast and dynamic pool of models effectively. We propose LOCUS, a method that produces low-dimensional vector embeddings that compactly represent a language model's capabilities across queries. LOCUS is an attention-based approach that generates embeddings by a deterministic forward pass over query encodings and evaluation scores via an encoder model, enabling seamless incorporation of new models to the pool and refinement of existing model embeddings without having to perform any retraining. We additionally train a correctness predictor that uses model embeddings and query encodings to achieve state-of-the-art routing accuracy on unseen queries. Experiments show that LOCUS needs up to 4.8x fewer query evaluation samples than baselines to produce informative and robust embeddings. Moreover, the learned embedding space is geometrically meaningful: proximity reflects model similarity, enabling a range of downstream applications including model comparison and clustering, model portfolio selection, and resilient proxies of unavailable models.