MACA: 신뢰할 수 있는 LLM을 효율적인 검색기로 변환하는 프레임워크

MACA: A Framework for Distilling Trustworthy LLMs into Efficient Retrievers

최신 기업 검색 시스템은 "해외 거래 수수료 환불" 및 "최근 계좌 상태"와 같이 짧고 구체적이지 않은 쿼리를 처리해야 합니다. 이러한 경우, 의미적 뉘앙스와 메타데이터가 중요하지만, 쿼리당 대규모 언어 모델(LLM) 재순위화 및 수동 라벨링은 비용이 많이 듭니다. 본 논문에서는 메타데이터 인지 교차 모델 정렬(MACA)을 제안합니다. MACA는 교정된 메타데이터 기반 LLM 재순위화 모델을 효율적인 학생 검색기로 변환하여 온라인 LLM 호출을 피합니다. 메타데이터 인지 프롬프트는 교사 모델의 신뢰성을 순열에 대한 일관성 및 패러프레이즈에 대한 견고성을 확인하여 목록 기반 점수, 어려운 부정 샘플 및 교정된 관련성 마진을 제공합니다. 학생 모델은 MACA의 MetaFusion 목표를 사용하여 학습합니다. MetaFusion은 메타데이터 기반 순위 손실과 교차 모델 마진 손실을 결합하여 올바른 답변을 의미적으로 유사하지만 주제, 하위 주제 또는 엔티티가 일치하지 않는 후보보다 더 높은 순위에 배치하도록 합니다. 독점적인 소비자 금융 FAQ 데이터 세트와 BankFAQs 데이터 세트에서 MACA 교사 모델은 MAFA 기준 모델보다 정확도@1에서 각각 5점 및 3점의 성능 향상을 보였습니다. MACA 학생 모델은 사전 학습된 인코더 모델보다 훨씬 뛰어난 성능을 보입니다. 예를 들어, 독점 데이터 세트에서 MiniLM의 정확도@1이 0.23에서 0.48로 향상되었으며, LLM 호출 없이 검색 증강 생성을 지원합니다.

Modern enterprise retrieval systems must handle short, underspecified queries such as ``foreign transaction fee refund'' and ``recent check status''. In these cases, semantic nuance and metadata matter but per-query large language model (LLM) re-ranking and manual labeling are costly. We present Metadata-Aware Cross-Model Alignment (MACA), which distills a calibrated metadata aware LLM re-ranker into a compact student retriever, avoiding online LLM calls. A metadata-aware prompt verifies the teacher's trustworthiness by checking consistency under permutations and robustness to paraphrases, then supplies listwise scores, hard negatives, and calibrated relevance margins. The student trains with MACA's MetaFusion objective, which combines a metadata conditioned ranking loss with a cross model margin loss so it learns to push the correct answer above semantically similar candidates with mismatched topic, sub-topic, or entity. On a proprietary consumer banking FAQ corpus and BankFAQs, the MACA teacher surpasses a MAFA baseline at Accuracy@1 by five points on the proprietary set and three points on BankFAQs. MACA students substantially outperform pretrained encoders; e.g., on the proprietary corpus MiniLM Accuracy@1 improves from 0.23 to 0.48, while keeping inference free of LLM calls and supporting retrieval-augmented generation.