LLM 기반 클러스터링을 이용한 실시간 하드 네거티브 샘플링: 대규모 투-타워 검색 시스템

Real-Time Hard Negative Sampling via LLM-based Clustering for Large-Scale Two-Tower Retrieval

투-타워 모델은 특히 검색 단계에서 대규모 추천 시스템에 널리 사용됩니다. 투-타워 모델의 학습 시 일반적으로 배치 내 또는 배치 외 네거티브 샘플링이 사용되지만, 이러한 방법들은 모델이 쉽게 학습할 수 있는 쉬운 네거티브 샘플을 생성하여 모델에게 충분한 도전을 제공하지 못하는 경우가 많습니다. 본 연구에서는 이 문제를 해결하기 위해, 모델 훈련 과정에서 대규모 언어 모델(LLM)을 활용하여 동일 클러스터 내에서 하드 네거티브 샘플을 생성하는 새로운 자기 지도 학습 기반 기법을 제안합니다. 제안된 방법은 LLM을 사용하여 미디어 표현을 학습함으로써, 생성된 네거티브 샘플이 더욱 어렵고 유용한 정보를 담도록 보장합니다. 이 실시간 샘플링 프레임워크는 생산 모델에 원활하게 통합될 수 있도록 설계되었으며, 최소한의 계산 복잡성으로 수십억 개의 훈련 데이터를 처리할 수 있습니다. 공개 데이터 세트에 대한 실험과 대규모 온라인 시스템 배포를 통해 제안된 네거티브 샘플링 기법이 널리 사용되는 산업 표준 방법보다 우수한 성능을 보이는 것을 확인했습니다. 또한, 실제 산업 환경에서의 분석 결과, 이 샘플링 방법은 추천 시스템의 고유한 피드백 루프를 끊고 인기 편향을 크게 줄이는 데 도움이 될 수 있음을 보여줍니다.

The two-tower model has been widely used for large-scale recommendation systems, particularly in the retrieval stage. Industry standards for training two-tower models typically involve in-batch and/or out-of-batch negative sampling. However, these methods often produce easy negatives that models can quickly learn, failing to sufficiently challenge the model. To address this issue, a novel self-supervised hard negative sampling technique is proposed that leverages a large language model (LLM) to generate hard negatives from the same cluster during model training. By utilizing the LLM to learn media representations, the proposed approach ensures that the generated negatives are more challenging and informative. This real-time sampling framework is designed for seamless integration into production models, capable of handling billions of training data points with minimal computational complexity. Experiments on public datasets, along with deployment to a large-scale online system, demonstrate that the proposed negative sampling technique outperforms widely used industry methods. Furthermore, analysis in industrial applications reveals that this sampling method can help break inherent feedback loops in recommendations and significantly reduce popularity bias.