메모리 레이어: 추천 모델을 위한 모델 내 캐시 학습

Memory Layer: Train the In-Model Cache for Recommendation Models

추천 시스템에서 초기 순위 결정 단계에서는 아이템 임베딩을 미리 계산하고, 엄격한 지연 시간 제약 조건 내에서 점수를 매기기 위해 이를 모델 내부에 캐싱합니다. 이 캐시는 서빙(serving) 시에만 존재하며 학습 루프의 외부이므로, 학습과 서빙에서 사용하는 아이템 표현 방식이 달라 구조적인 불일치가 발생하여 품질을 제한하고 운영상의 취약성을 야기합니다. 본 연구에서는 학습과 서빙 경로를 공동 설계함으로써 이러한 표현 방식의 불일치를 근본적으로 해결할 수 있음을 보여줍니다. 우리는 '메모리 레이어'라는 모델 내부에 있는 키-값 임베딩 캐시를 제안하며, 이는 모델과 함께 공동으로 학습됩니다. 아이템 타워는 학습 중에 임베딩을 작성하고, 모델은 서빙 시에 이를 읽음으로써, 아이템 표현 방식의 단일한 진실(single source of truth)을 구축합니다. 항상 사용 가능한 임베딩은 아직 캐싱되지 않은 아이템을 포함하므로 모든 아이템에 대한 예측이 가능하며, 이러한 설계는 세 가지 별개의 학습-예측기 업데이트 경로를 하나의 완전하고 독립적인 파이프라인으로 통합합니다. Instagram Reels의 실제 운영 환경에 적용한 결과, 메모리 레이어는 예측 범위(prediction coverage)를 96%에서 100%로 향상시키고, 임베딩 최신성을 $O(5 ext{ min})$에서 $O(20 ext{ s})$로 개선하며, 학습-서빙 정규화 엔트로피(Normalized Entropy, NE) 격차를 최대 86%까지 줄였습니다. 이를 통해 가장 최신의 콘텐츠에 대한 재현율을 2배 이상 향상시키고 콜드 스타트(cold start) 참여도를 5~6% 증가시켰습니다. 임베딩이 학습 중에 생성되므로, 별도의 대량 평가 또는 게시 시간 재계산이 필요하지 않아 학습 및 게시 관련 계산 비용을 30% 절감하고 서빙 관련 계산 비용에는 영향을 미치지 않습니다.

Early ranking stages in recommendation systems precompute item embeddings and cache them in-model for scoring within strict latency constraints. Because this cache exists only at serving time, outside the training loop, training and serving use different item representations, a structural discrepancy that limits quality and adds operational fragility. We show that co-designing the training and serving paths removes this representation discrepancy at its source. We introduce the memory layer, an in-model key-value embedding cache co-trained with the model: the item tower writes embeddings during training and the model reads them at serving, one source of truth for item representations by construction. Always-on embeddings cover items not yet cached, so every item receives a prediction, and the design consolidates three separate trainer-to-predictor update paths into a single self-contained pipeline. Deployed in production on Instagram Reels, the memory layer raises prediction coverage from 96% to 100%, improves embedding freshness from $O(5\text{ min})$ to $O(20\text{ s})$, and narrows the training-serving Normalized Entropy (NE) gap by up to 86%, yielding over $2\times$ recall for the freshest content and a 5-6% cold start engagement lift. Because embeddings are produced during training, the system needs no separate bulk-evaluation or publish-time recomputation, cutting training-and-publish computational cost by 30% at neutral serving computational cost.