PromptEmbedder: 효율적이고 이식 가능한 텍스트 임베딩을 위한 Dual-LLM 소프트 프롬프팅

PromptEmbedder:: Efficient and Transferable Text Embedding via Dual-LLM Soft Prompting

대규모 언어 모델(LLM)은 텍스트 임베딩 분야에서 뛰어난 성능을 보여주었지만, 현재의 적응 방법인 LoRA는 계산 효율성과 다양한 아키텍처 간의 호환성 측면에서 상당한 제약을 가지고 있습니다. 새로운 기반 모델이 등장할 때마다 기존 방식은 비용이 많이 드는 전체 재학습을 요구합니다. 이러한 문제를 해결하기 위해, 우리는 임베딩 지식을 특정 기반 모델의 가중치와 분리하는 혁신적인 Dual-LLM 프레임워크인 PromptEmbedder를 제안합니다. PromptEmbedder는 연속적인 완화를 통해 미분 가능한 생성 과정을 사용하여, Instruction-aware한 소프트 프롬프트를 생성하는 프롬프팅 LLM을 활용하고 이를 고정된 임베딩 LLM에 적용하여, 대비 학습 과정에서 완전한 그래디언트 흐름을 보장합니다. 작업별 특화된 지식을 프롬프팅 LLM 내부에 위치시켜, 새로운 아키텍처에 적응하려면 경량의 선형 정렬 행렬만 재학습하면 됩니다. MTEB 벤치마크에서의 평가 결과, PromptEmbedder는 LoRA 미세 조정과 비교 가능한 성능을 달성하면서 GPU 메모리 사용량을 40% 줄이고 학습 속도를 3.7배 향상시켰습니다. 우리의 접근 방식은 효율적인 LLM 기반 표현 학습을 위한 확장 가능하고 아키텍처에 독립적인 패러다임을 구축합니다.

Large Language Models (LLMs) have demonstrated remarkable efficacy in text embedding, yet current adaptation methods like LoRA face significant bottlenecks in computational efficiency and cross-architecture transferability. Whenever a new backbone emerges, existing approaches require costly retraining from scratch. To address this, we propose PromptEmbedder, a novel dual-LLM framework that decouples embedding knowledge from specific backbone weights. PromptEmbedder utilizes a Prompting LLM to generate instruction-aware soft prompts for a frozen Embedding LLM via a differentiable generation process with continuous relaxation, ensuring full gradient flow during contrastive training. By localizing task-specific knowledge within the Prompting LLM, adapting to new architectures requires only retraining a lightweight linear alignment matrix. Evaluations on the MTEB benchmark show that PromptEmbedder achieves comparable performance with LoRA finetuning while reducing GPU memory by 40% and accelerating training by 3.7x. Our approach establishes a scalable, architecture-agnostic paradigm for efficient LLM-based representation learning.