Tevatron-Elastic: 탄력 검색 및 재순위 모델 학습을 위한 통합 추상화

Tevatron-Elastic: A Unified Abstraction for Training Elastic Retrievers and Rerankers

단일 모델 크기는 실제 검색 시스템의 유연성에 제약을 가합니다. 어떤 설정에서는 더 빠른 속도가 필요하고, 다른 설정에서는 더 작은 인덱스가 필요하며, 적절한 균형은 워크로드에 따라 달라집니다. 정보 검색(IR) 분야에서 트랜스포머 기반 모델은 레이어를 줄이거나, 상위 레이어를 통과하는 토큰 수를 줄이거나, 짧은 임베딩을 생성하는 세 가지 방법으로 크기를 줄일 수 있으며, 각 방법은 서로 다른 계산 자원을 절약합니다. 이러한 옵션들은 개별적인 방법론으로 연구되어 왔으며, 각각 고유한 코드와 학습 설정을 가지고 있어 결합하거나 새로운 모델에 적용하기 어렵습니다. 본 논문에서는 'Tevatron-Elastic'을 제안하여 이 세 가지 방법을 하나의 간단한 추상화 방식으로 통합합니다. 단일 객체가 모델이 실행할 수 있는 모든 크기를 나타내고, 짧은 스케줄이 학습해야 할 크기들을 나열합니다. 학습 과정에서 생성된 하나의 체크포인트는 이러한 모든 크기에 대응하며, 배포 시 사용자는 원하는 크기를 선택할 수 있습니다. 동일한 추상화 방식은 검색 모델과 재순위 모델 모두에 적용될 뿐만 아니라, 인코더 및 디코더 모델에도 적용될 수 있으며, 이는 Hugging Face transformers에서 이미 제공하는 인터페이스를 통해 구현됩니다. 새로운 백본 아키텍처는 새로운 모델링 코드가 아닌 구성 변경으로 적용할 수 있습니다. 기존의 방법들인 Matryoshka 임베딩, 조기 종료(early exit), 2D~Matryoshka (예: Starbucks) 및 레이어별 토큰 압축은 본 논문에서 제안하는 통합 추상화 방식의 특수한 경우입니다. 동일한 인터페이스는 여러 개의 토큰 압축 비율을 공동으로 학습하여 하나의 검색 모델 체크포인트를 생성하는 Matryoshka LTC(MLTC)를 가능하게 합니다. 저희 프레임워크의 유효성을 검증하기 위해, 세 가지 백본 아키텍처와 두 가지 작업에 대해 20개의 체크포인트를 학습했으며, 품질 곡선이 매끄럽고, 하나의 체크포인트는 단일 크기로 학습된 모델보다 비용이 적게 들며, 제어된 실험을 통해 실제 속도 향상이 확인되었습니다. 저희는 이 프레임워크와 모든 체크포인트를 탄력적인 검색 시스템 구축을 위한 자료로 공개합니다.

A single model scale challenges the flexibility of a production retrieval system: some settings need it faster, others need a smaller index, and the right trade-off changes with the workload. In the context of information retrieval (IR), a transformer-based model can be made smaller in three ways---using fewer layers, passing fewer tokens through the upper layers, or producing a shorter embedding---and each way saves a different compute resource. These options have been studied one at a time, each as its own method with its own code and training setup, which makes them hard to combine or adapt to a new model. We present~\ours to bring all three under one simple abstraction: a single object names any size the model can run at, and a short schedule lists the sizes to train. Training then produces one checkpoint that serves all of those sizes, and at deployment the user picks any of them. The same abstraction covers both retrievers and rerankers and both encoder and decoder models, as it works through interfaces that Hugging Face transformers already expose; a new backbone is a configuration change, not new modeling code. Prior methods---Matryoshka embeddings, early exit, 2D~Matryoshka (e.g., Starbucks), and layerwise token compression---become special cases of our unified abstraction. The same interface also enables Matryoshka~LTC (MLTC), which jointly trains several token-compression ratios in one retriever checkpoint. To validate our framework, we train 20 checkpoints across three backbones and two tasks: the quality curves are smooth, one checkpoint costs little over a model trained for a single size, and a controlled study confirms the wallclock speedups. We release the framework and all checkpoints as a resource for building elastic retrieval systems.