대규모 언어 모델을 활용한 융합 및 정렬 향상을 통한 꼬리 항목 순차 추천

Fusion and Alignment Enhancement with Large Language Models for Tail-item Sequential Recommendation

순차 추천(SR)은 사용자의 과거 상호 작용 시퀀스에서 사용자의 선호도를 학습하고 개인화된 추천을 제공합니다. 실제 시나리오에서 대부분의 항목은 희소한 상호 작용을 나타내는데, 이를 '꼬리 항목 문제'라고 합니다. 이 문제는 모델이 항목 간의 전환 패턴을 정확하게 파악하는 능력을 제한합니다. 이 문제를 해결하기 위해, 대규모 언어 모델(LLM)은 항목 간의 의미적 관계를 파악하여 유망한 해결책을 제시합니다. 이전 연구에서 LLM에서 파생된 임베딩을 사용하여 꼬리 항목을 풍부하게 하려는 시도가 있었지만, 다음과 같은 제한 사항이 여전히 존재합니다. 1) 협업 신호를 의미적 지식과 효과적으로 융합하는 데 어려움이 있어, 최적의 항목 임베딩 품질을 달성하지 못합니다. 2) 기존 방법은 ID 임베딩 공간과 LLM 임베딩 공간 간의 구조적 불일치를 간과하여, 추천 정확도를 저하시키는 상반되는 신호를 발생시킵니다. 본 연구에서는 꼬리 항목 순차 추천을 위한 융합 및 정렬 향상 프레임워크(FAERec)를 제안합니다. FAERec은 일관성 있게 융합되고 구조적으로 일관된 임베딩을 생성하여 항목 표현을 개선합니다. 정보 융합 문제를 해결하기 위해, ID 임베딩과 LLM 임베딩을 동적으로 융합하는 적응형 게이팅 메커니즘을 설계했습니다. 또한, 구조적 불일치를 완화하기 위해 이중 수준 정렬 접근 방식을 제안합니다. 항목 수준 정렬은 대조 학습을 통해 동일한 항목의 ID 임베딩과 LLM 임베딩 간의 대응 관계를 설정하고, 특징 수준 정렬은 두 임베딩 공간의 해당 차원 간의 상관 관계 패턴을 제약합니다. 더욱이, 복잡한 특징 수준 목표의 조기 최적화를 방지하기 위해 두 정렬의 가중치를 커리큘럼 학습 스케줄러를 사용하여 조정합니다. 널리 사용되는 세 가지 데이터 세트와 다양한 SR 백본을 사용한 광범위한 실험을 통해, 본 프레임워크의 효과성과 일반성을 입증합니다.

Sequential Recommendation (SR) learns user preferences from their historical interaction sequences and provides personalized suggestions. In real-world scenarios, most items exhibit sparse interactions, known as the tail-item problem. This issue limits the model's ability to accurately capture item transition patterns. To tackle this, large language models (LLMs) offer a promising solution by capturing semantic relationships between items. Despite previous efforts to leverage LLM-derived embeddings for enriching tail items, they still face the following limitations: 1) They struggle to effectively fuse collaborative signals with semantic knowledge, leading to suboptimal item embedding quality. 2) Existing methods overlook the structural inconsistency between the ID and LLM embedding spaces, causing conflicting signals that degrade recommendation accuracy. In this work, we propose a Fusion and Alignment Enhancement framework with LLMs for Tail-item Sequential Recommendation (FAERec), which improves item representations by generating coherently-fused and structurally consistent embeddings. For the information fusion challenge, we design an adaptive gating mechanism that dynamically fuses ID and LLM embeddings. Then, we propose a dual-level alignment approach to mitigate structural inconsistency. The item-level alignment establishes correspondences between ID and LLM embeddings of the same item through contrastive learning, while the feature-level alignment constrains the correlation patterns between corresponding dimensions across the two embedding spaces. Furthermore, the weights of the two alignments are adjusted by a curriculum learning scheduler to avoid premature optimization of the complex feature-level objective. Extensive experiments across three widely used datasets with multiple representative SR backbones demonstrate the effectiveness and generalizability of our framework.