LLM 기반 교차 도메인 순차적 추천을 위한 특징 강조 모델 병합: LLM 기반 교차 도메인 순차적 추천에서 모델의 정확성을 고려한 특징 복구

Sharpness-aware Model Merging with Salience Recovery for LLM-based Cross-Domain Sequential Recommendation

LLM 기반 교차 도메인 순차적 추천(CDSR)은 LLM을 활용하여 심층적인 의미론적 추론을 통해 성능을 향상시키고, 사용자 중복 의존성을 줄입니다. LLM 기반 모델 중에서, 모델 병합은 다양한 지식 소스를 통합하는 데 있어 뛰어난 확장성과 유연성을 제공하므로 다중 도메인 시나리오에서 특히 유망합니다. 그러나 우리의 실험적 연구 결과는 두 가지 중요한 문제점을 보여줍니다: (1) 교차 도메인 지식 충돌; 그리고 (2) 다중 도메인 융합에서의 성능 포화 현상. 이러한 현상은 병합 과정 동안 발생하는 파라미터 수준의 불일치 및 통계적 동질화로 인해 발생합니다. 이러한 문제점을 해결하기 위해, 우리는 LLM 기반 CDSR을 위한 특징 강조 모델 병합 프레임워크인 SharpRec을 제안합니다. SharpRec은 융합 모델의 성능 상한을 높이기 위해 설계되었으며, 두 가지 시너지 효과를 내는 모듈을 포함합니다: 간섭 없는 융합을 위한 안정적인 기하학적 기반을 구축하는 특징 강조 기하학적 정렬; 그리고 대상 도메인 성능 향상에 필수적인 독특한 특징을 효과적으로 복원하는 선호도 특징 활성화. 이중 및 다중 도메인 시나리오에서 수행된 광범위한 실험 결과는 SharpRec이 최첨단 모델보다 일관되게 우수한 성능을 발휘한다는 것을 보여줍니다.

LLM-based Cross-Domain Sequential Recommendation (CDSR) leverages LLMs to enhance target performance via deep semantic reasoning, alleviating the dependency on overlapping users. Among LLM-based paradigms, model merging is particularly promising for multi-domain scenarios due to its superior scalability and flexibility in integrating diverse knowledge sources. However, our empirical investigations reveal two critical bottlenecks: (1) cross-domain knowledge conflict; and (2) performance saturation in multi-domain fusion. Our analysis attributes these phenomena to parameter-level misalignment and statistical homogenization during the merging process. To address these bottlenecks, we propose SharpRec, Sharpness-aware Model Merging with Salience Recovery for LLM-based CDSR, a framework designed to lift the performance upper bound of merged models. SharpRec incorporates two synergistic modules: Sharpness-aware Geometric Alignment to establish a stable geometric foundation for interference-free fusion; and Preference Salience Activation to effectively recover the distinctive features essential for bolstering target domain performance. Extensive experiments in both dual-domain and multi-domain scenarios demonstrate that SharpRec consistently outperforms state-of-the-art baselines.