사용자 맞춤형 조건부 생성 총 상관관계 학습을 이용한 다중 모드 추천

User-Aware Conditional Generative Total Correlation Learning for Multi-Modal Recommendation

다중 모드 추천(MMR)은 시각 및 텍스트 설명과 같은 항목 콘텐츠를 활용하여 항목 표현을 풍부하게 만들어 상호 작용 데이터만 사용하는 추천 시스템의 성능을 향상시킵니다. MMR의 성공은 상호 작용 데이터로부터 파생된 사용자 선호도와 이러한 콘텐츠 모달리티를 일치시키는 데 달려 있지만, 현재 주류 방법은 모달리티 불변의 선호도 관련 신호를 모달리티별의 선호도 무관한 노이즈로부터 분리하는 방식으로, 이는 결함이 있습니다. 첫째, 이러한 방법은 모든 사용자에게 항목 콘텐츠가 동일한 정도로 관련이 있다고 가정하는데, 이는 사용자별로 선호도가 달라지는 사실과 모순됩니다. 둘째, 이러한 방법은 교차 모달 정렬을 위해 쌍별 대비 손실을 개별적으로 최적화하며, 여러 콘텐츠 모달리티가 함께 사용자 선택에 영향을 미치는 고차원 종속성을 체계적으로 무시합니다. 본 논문에서는 조건부 생성 총 상관관계 학습 프레임워크인 GTC를 소개합니다. 우리는 상호 작용 기반 확산 모델을 사용하여 사용자별로 개인화된 특징만 보존하는 사용자 맞춤형 콘텐츠 특징 필터링을 수행합니다. 또한, 완전한 교차 모달 종속성을 포착하기 위해, 모든 모달리티에 걸친 항목 표현의 총 상관관계에 대한 추론 가능한 하한을 최적화합니다. 표준 MMR 벤치마크에서의 실험 결과, GTC는 지속적으로 최첨단 모델보다 우수한 성능을 보이며, NDCG@5에서 최대 28.30%의 성능 향상을 달성했습니다. ablation 연구는 조건부 선호도 기반 특징 필터링과 총 상관관계 최적화 모두의 효과를 검증하며, GTC가 MMR 작업에서 사용자 조건부 관계를 모델링하는 능력을 확인합니다. 코드는 다음에서 사용할 수 있습니다: https://github.com/jingdu-cs/GTC.

Multi-modal recommendation (MMR) enriches item representations by introducing item content, e.g., visual and textual descriptions, to improve upon interaction-only recommenders. The success of MMR hinges on aligning these content modalities with user preferences derived from interaction data, yet dominant practices based on disentangling modality-invariant preference-driving signals from modality-specific preference-irrelevant noises are flawed. First, they assume a one-size-fits-all relevance of item content to user preferences for all users, which contradicts the user-conditional fact of preferences. Second, they optimize pairwise contrastive losses separately toward cross-modal alignment, systematically ignoring higher-order dependencies inherent when multiple content modalities jointly influence user choices. In this paper, we introduce GTC, a conditional Generative Total Correlation learning framework. We employ an interaction-guided diffusion model to perform user-aware content feature filtering, preserving only personalized features relevant to each individual user. Furthermore, to capture complete cross-modal dependencies, we optimize a tractable lower bound of the total correlation of item representations across all modalities. Experiments on standard MMR benchmarks show GTC consistently outperforms state-of-the-art, with gains of up to 28.30% in NDCG@5. Ablation studies validate both conditional preference-driven feature filtering and total correlation optimization, confirming the ability of GTC to model user-conditional relationships in MMR tasks. The code is available at: https://github.com/jingdu-cs/GTC.