DeGRe: 추천을 위한 밀집 지도 생성적 재순위화

DeGRe: Dense-supervised Generative Reranking for Recommendation

다단계 추천 시스템에서 재순위화는 목록 내의 문맥적 의존성을 파악하여 전체적인 유용성을 최적화하지만, 지수적으로 큰 순열 공간 내에서 최적의 순서를 탐색하는 것이 핵심적인 과제입니다. 최근 연구에서는 종단 간 생성 프레임워크로 전환하는 경향이 있으며, 이는 일반적으로 목록 단위 보상 또는 선호도 정렬을 활용하여 생성자 훈련을 안내합니다. 그러나 이러한 방법은 여전히 두 가지 중요한 문제에 직면해 있습니다. 첫째는 휴리스틱 레이블 편향 문제입니다. 기존 방법은 종종 클릭된 항목을 상단으로 배치하는 것과 같은 간단한 규칙을 기반으로 학습 목표를 구성하며, 목록 문맥 내의 인과적 의존성을 무시합니다. 둘째는 신용 할당 문제입니다. 희소한 목록 수준의 사후 보상은 시퀀스 생성 과정의 중간 단계를 직접적으로 안내하지 못하여 모호한 최적화 방향을 초래합니다. 이러한 문제를 해결하기 위해, 우리는 밀집 지도 생성적 재순위화(DeGRe)를 제안합니다. DeGRe는 밀집적인 감독을 통해 오프라인 탐색과 온라인 효율성 간의 격차를 해소하는 생성적 재순위화 프레임워크입니다. DeGRe의 핵심은 오프라인-온라인 분리 설계에 있습니다. 오프라인 단계에서는 누적 회귀 기반의 Lookahead Evaluator를 도입하여, 빔 검색을 활용하여 아직 탐색되지 않은 공간에서 고가치 예측 시퀀스를 적극적으로 발굴합니다. 학습 과정에서, 평가기에서 생성된 단계별 가치 추정치를 밀집적인 감독 신호로 변환하고, 이를 경량화된 온라인 생성기에 통합합니다. 이 메커니즘을 통해 생성기는 예측 계획 능력을 내재화하게 되며, 온라인 추론 시에는 단일 효율적인 탐욕적 디코딩 과정을 통해서만 전체 최적에 근사할 수 있습니다. 실험 결과는 DeGRe가 공개 벤치마크 및 산업 데이터 세트에서 기존 모델보다 우수한 성능을 보임을 보여줍니다. 우리는 DeGRe를 타오바오 플래시 쇼핑에 성공적으로 적용하여 온라인 추천 성능을 크게 향상했습니다.

In multi-stage recommender systems, reranking optimizes overall utility by capturing intra-list contextual dependencies, yet its central challenge lies in exploring optimal sequences within an exponentially large permutation space. Recent studies have shifted towards end-to-end generative frameworks, which typically leverage list-wise rewards or preference alignment to guide generator training. However, these methods still face two critical issues. First is the heuristic label bias. Existing methods often construct training targets based on simple rules, such as promoting clicked items to the top, while ignoring causal dependencies within the list context. Second is the credit assignment problem. Sparse list-level posterior rewards fail to directly guide intermediate steps in sequence generation, leading to ambiguous optimization directions. To address these issues, we propose DeGRe (Dense-supervised Generative Reranking), a generative reranking framework that bridges the gap between offline exploration and online efficiency through dense supervision. The core of DeGRe lies in its offline-online decoupled design. During the offline phase, we introduce a Lookahead Evaluator based on cumulative regression, which leverages beam search to actively mine high-value lookahead sequences in the unexposed space. During training, we transform the step-wise value estimations from the evaluator into dense supervision signals and distill them into a lightweight Online Generator. This mechanism enables the generator to internalize lookahead planning capabilities, requiring only a single efficient greedy decoding pass during online inference to approximate the global optimum. Experiments demonstrate that DeGRe outperforms baseline models on public benchmarks and industrial datasets. We have successfully deployed DeGRe on Taobao Flash Shopping, significantly improving online recommendations.