중간 계층의 자체 하드 네거티브를 활용한 LLM 기반 추천 개선

Improving LLM-based Recommendation with Self-Hard Negatives from Intermediate Layers

대규모 언어 모델(LLM)은 추천 시스템에서 큰 가능성을 보여주었으며, 모델 적응을 위해 지도 미세 조정(SFT)이 흔히 사용된다. 후속 연구들은 훈련 과정에 네거티브 샘플을 포함시키기 위해 선호도 학습을 추가로 도입했다. 그러나 기존 방법들은 시퀀스 수준에서 오프라인으로 생성된 네거티브 샘플에 의존하기 때문에, 거대한 네거티브 아이템 공간을 가진 추천 작업에 LLM을 적응시킬 때 변별력과 정보력이 떨어진다. 이러한 과제를 해결하기 위해, 우리는 선호도 학습을 향상시키기 위해 중간 계층에서 추출한 자체 하드 네거티브(self-hard negative) 신호를 활용하는 LLM 기반 추천용 새로운 선호도 미세 조정 프레임워크인 ILRec를 제안한다. 구체적으로, 우리는 모델의 선호도 학습 과정을 동적으로 반영하는 세밀한 네거티브 지도(negative supervision)로서 중간 계층의 자체 하드 네거티브 토큰을 식별한다. 이러한 신호를 훈련에 효과적으로 통합하기 위해, 교차 계층 선호도 최적화 및 교차 계층 선호도 지식 증류로 구성된 2단계 프레임워크를 설계하여 모델이 유용한 네거티브 샘플을 변별함과 동시에 중간 계층에서 추출한 네거티브 신호의 품질을 향상시킬 수 있도록 한다. 또한 네거티브 신호에 토큰 수준의 보상을 할당하는 경량 협업 필터링 모델을 도입하여 거짓 네거티브(false negatives)에 과도한 페널티가 부여될 위험을 완화한다. 3개의 데이터셋에 대한 광범위한 실험을 통해 ILRec가 LLM 기반 추천 시스템의 성능을 향상시키는 데 효과적임을 입증한다.

Large language models (LLMs) have shown great promise in recommender systems, where supervised fine-tuning (SFT) is commonly used for adaptation. Subsequent studies further introduce preference learning to incorporate negative samples into the training process. However, existing methods rely on sequence-level, offline-generated negatives, making them less discriminative and informative when adapting LLMs to recommendation tasks with large negative item spaces. To address these challenges, we propose ILRec, a novel preference fine-tuning framework for LLM-based recommendation, leveraging self-hard negative signals extracted from intermediate layers to improve preference learning. Specifically, we identify self-hard negative tokens from intermediate layers as fine-grained negative supervision that dynamically reflects the model's preference learning process. To effectively integrate these signals into training, we design a two-stage framework comprising cross-layer preference optimization and cross-layer preference distillation, enabling the model to jointly discriminate informative negatives and enhance the quality of negative signals from intermediate layers. In addition, we introduce a lightweight collaborative filtering model to assign token-level rewards for negative signals, mitigating the risk of over-penalizing false negatives. Extensive experiments on three datasets demonstrate ILRec's effectiveness in enhancing the performance of LLM-based recommender systems.