LinkedIn의 의미 기반 검색
Semantic Search At LinkedIn
대규모 언어 모델(LLM)을 활용한 의미 기반 검색은 키워드 중복이 아닌 의미를 기반으로 정보를 검색할 수 있도록 하지만, 이를 확장하기 위해서는 추론 효율성을 크게 향상시켜야 합니다. 본 논문에서는 LinkedIn의 AI 채용 검색 및 AI 인물 검색을 위한 LLM 기반 의미 기반 검색 프레임워크를 소개합니다. 이 프레임워크는 LLM을 활용한 관련성 판단 모듈, 임베딩 기반 검색, 그리고 다중 지도 학습을 통해 훈련된 경량 언어 모델을 결합하여 관련성과 사용자 참여도를 동시에 최적화합니다. 모델 가지치기, 컨텍스트 압축, 그리고 텍스트 임베딩 하이브리드 상호 작용을 통합한 추론 아키텍처는, 지연 시간 제약 조건 하에서 순위 처리 속도를 75배 이상 향상시키면서도, 기존 모델 수준의 NDCG 성능을 유지합니다. 이를 통해 LinkedIn은 기존 방식과 유사한 효율성을 갖는 최초의 상용 LLM 기반 순위 시스템을 구축하고, 품질과 사용자 참여도를 크게 향상시켰습니다.
Semantic search with large language models (LLMs) enables retrieval by meaning rather than keyword overlap, but scaling it requires major inference efficiency advances. We present LinkedIn's LLM-based semantic search framework for AI Job Search and AI People Search, combining an LLM relevance judge, embedding-based retrieval, and a compact Small Language Model trained via multi-teacher distillation to jointly optimize relevance and engagement. A prefill-oriented inference architecture co-designed with model pruning, context compression, and text-embedding hybrid interactions boosts ranking throughput by over 75x under a fixed latency constraint while preserving near-teacher-level NDCG, enabling one of the first production LLM-based ranking systems with efficiency comparable to traditional approaches and delivering significant gains in quality and user engagement.
No Analysis Report Yet
This paper hasn't been analyzed by Gemini yet.