LoopFM: 추천을 위한 기반 모델의 과거 표현으로부터 학습

LoopFM: Learning frOm HistOrical RePresentations of Foundation Model for Recommendation

지식 증류(KD)는 대규모 기반 모델(FM)로부터 작은 크기의 수직 모델(VM)로 단일 스칼라 예측값을 전달하지만, 단일 스칼라로는 FM이 학습하는 풍부한 중간 지식을 충분히 전달할 수 없기 때문에 전송 효율성이 감소한다는 문제가 있습니다. 이러한 문제점을 해결하기 위해, 본 논문에서는 LoopFM (Learning frOm HistOrical ReP*resentations of FM)이라는 프레임워크를 제안합니다. LoopFM은 FM의 중간 임베딩을 하위 모델(VM)의 입력 특징(예: 사용자 히스토리 시퀀스)으로 활용하여 고대역폭 전송 채널을 구축하며, 서비스 시 실시간 FM 추론이나 FM과 VM 간의 구조적 연결이 필요하지 않습니다. LoopFM에 대한 이론적 프레임워크를 제시하고, 이득 분해 및 전송 효율성 분석을 제공합니다. 세 개의 공개 벤치마크에서 LoopFM은 AUC 개선 효과(예: TaobaoAd 데이터셋에서 6% 이상)를 보여주었으며, KD와 함께 시너지 효과를 창출하여 지식 전달 능력을 향상시켰습니다. 산업 규모 시스템(수십억 건의 예제, 수조 단위 파라미터의 FM)에서 LoopFM은 KD 위에 약 두 배의 지식 전송 효율성을 달성했으며, Y1H1 기간 동안 전환율을 0.5% 개선하고, Y1H2 기간 동안 각각 독립적으로 적용했을 때 전환율을 1.03% 및 1.22% 개선했습니다.

Knowledge distillation (KD) transfers a single scalar prediction from a large foundation model (FM) to compact vertical models (VMs), suffering from diminishing transfer ratio -- the fraction of FM improvement captured by the VM -- as a single scalar cannot convey the rich intermediate knowledge that larger FMs learn. To address this bottleneck, we propose LoopFM (Learning frOm HistOrical ReP*resentations of FM), a framework that opens a high-bandwidth transfer channel by structuring FM intermediate embeddings as input features (e.g., user history sequence) for downstream VMs, without requiring real-time FM inference at serving and architectural coupling between FM and VM. We provide a theoretical framework for LoopFM with a gain decomposition and transfer-ratio analysis. On three public benchmarks, LoopFM demonstrates strong AUC improvements (e.g., 6\%+ on TaobaoAd) and complementary knowledge transfer capability with KD. On industrial-scale systems (billions of examples, trillion-parameter FMs), LoopFM approximately doubles the knowledge transfer ratio on top of KD, delivering a +0.5\% conversion improvement in Y1H1, and a +1.03\% and +1.22\% conversion improvement from two individual launches respectively in Y1H2.