ANN 기반 검색 재고: 대규모 추천 시스템을 위한 다면적 학습 인덱스

Rethinking ANN-based Retrieval: Multifaceted Learnable Index for Large-scale Recommendation System

근사 최근접 이웃(ANN) 검색은 대규모 추천 시스템의 검색 단계에서 널리 사용됩니다. 이 단계에서 후보 항목은 학습된 임베딩 벡터를 사용하여 인덱싱되며, 각 사용자(또는 항목) 쿼리에 대해 ANN 검색을 수행하여 관련 항목 집합을 검색합니다. 그러나 ANN 기반 검색은 두 가지 주요 제한 사항이 있습니다. 첫째, 항목 임베딩과 해당 인덱스는 일반적으로 별도의 단계에서 학습됩니다. 인덱싱은 종종 임베딩 훈련 후에 오프라인으로 수행되는데, 이는 특히 새로 생성된 항목의 경우 최적의 검색 품질을 얻지 못할 수 있습니다. 둘째, ANN은 선형 이하의 쿼리 시간을 제공하지만, 모든 요청에 대해 실행되어야 하므로 산업 규모에서 상당한 계산 비용이 발생합니다. 본 논문에서는 다면적 학습 인덱스(MFLI)라는 확장 가능하고 실시간 검색 패러다임을 제안합니다. MFLI는 항목 임베딩과 인덱스를 통합된 프레임워크 내에서 학습하고, 서비스 시간에 ANN 검색을 제거합니다. 구체적으로, 우리는 항목 임베딩의 잔차 양자화를 통해 다면적 계층적 코드북을 구성하고, 코드북과 임베딩을 공동으로 훈련합니다. 또한, 효율적인 다면적 인덱싱 구조와 실시간 업데이트를 지원하는 메커니즘을 도입합니다. 서비스 시간에, 학습된 계층적 인덱스는 관련 항목을 식별하는 데 직접 사용되어 ANN 검색을 완전히 회피합니다. 수십억 명의 사용자를 포함하는 실제 데이터를 사용한 광범위한 실험 결과, MFLI는 기존 최고 성능 방법과 비교하여 참여 관련 작업에서 최대 11.8%의 재현율 향상, 콜드 콘텐츠 제공에서 최대 57.29%의 향상, 의미적 관련성에서 13.5%의 향상을 보입니다. 또한, MFLI를 시스템에 배포하고 온라인 실험 결과를 통해 향상된 참여, 낮은 인기 편향, 그리고 더 높은 서비스 효율성을 확인했습니다.

Approximate nearest neighbor (ANN) search is widely used in the retrieval stage of large-scale recommendation systems. In this stage, candidate items are indexed using their learned embedding vectors, and ANN search is executed for each user (or item) query to retrieve a set of relevant items. However, ANN-based retrieval has two key limitations. First, item embeddings and their indices are typically learned in separate stages: indexing is often performed offline after embeddings are trained, which can yield suboptimal retrieval quality-especially for newly created items. Second, although ANN offers sublinear query time, it must still be run for every request, incurring substantial computation cost at industry scale. In this paper, we propose MultiFaceted Learnable Index (MFLI), a scalable, real-time retrieval paradigm that learns multifaceted item embeddings and indices within a unified framework and eliminates ANN search at serving time. Specifically, we construct a multifaceted hierarchical codebook via residual quantization of item embeddings and co-train the codebook with the embeddings. We further introduce an efficient multifaceted indexing structure and mechanisms that support real-time updates. At serving time, the learned hierarchical indices are used directly to identify relevant items, avoiding ANN search altogether. Extensive experiments on real-world data with billions of users show that MFLI improves recall on engagement tasks by up to 11.8\%, cold-content delivery by up to 57.29\%, and semantic relevance by 13.5\% compared with prior state-of-the-art methods. We also deploy MFLI in the system and report online experimental results demonstrating improved engagement, less popularity bias, and higher serving efficiency.