TailorMind: 선호도 기반의 다중 모드 콘텐츠 생성 연구

TailorMind: Towards Preference-Aligned Multimodal Content Generation

개인 맞춤형 콘텐츠 시스템은 사용자가 생성한 콘텐츠(UGC)에 의존하지만, 적절한 콘텐츠가 없을 때, 지연될 때 또는 제작 비용이 높을 경우에는 어려움을 겪습니다. 다중 모드 생성기는 필요에 따라 콘텐츠를 합성할 수 있지만, 사용자 행동 데이터를 생성 가능한 선호도로 변환하는 방법은 아직 충분히 연구되지 않았습니다. 본 논문에서는 기존의 항목 풀 없이 또는 일치하는 UGC를 기다리지 않고 사용자 맞춤형 다중 모드 콘텐츠를 생성하는 방법을 연구합니다. 우리는 TailorMind라는 모델을 제안하며, 이는 협업적 선호도 모델링과 제어 가능한 다중 모드 생성을 연결합니다. TailorMind는 하이퍼그래프 협업 필터링을 통해 희소한 사용자 기록을 풍부하게 하고, 순위 오류 피드백 및 텍스트 그래디언트 하강법을 사용하여 텍스트 프로필을 최적화합니다. 검색 증강 스타일 제어는 출력을 실제 UGC 패턴에 기반하도록 하며, 교차 모드 응집성 반영은 의미론적 편향을 줄입니다. 우리는 세 가지 주요 플랫폼에서 수집된 데이터를 기반으로 TailorBench라는 평가 도구를 구축했으며, 이를 사용하여 일관성, 참신성, 심미성, 환각 현상 및 프로파일링의 다섯 가지 측면에서 모델을 평가합니다. 실험 결과, TailorMind는 대표적인 생성 모델과 실제 UGC에 비해 경쟁력 있는 또는 더 나은 일관성을 달성하며, 참신성과 심미적 품질을 향상시킵니다. 또한 사용 가능한 콘텐츠를 검색하거나 유사한 UGC를 사용하는 것보다 우수한 성능을 보이며, 재순위화에서 최대 29%의 Recall 성능 향상을 달성했습니다. 저희 코드는 다음 주소에서 공개됩니다: https://github.com/iLearn-Lab/TailorMind.

Personalized content systems depend on available UGC and struggle when suitable content is absent, delayed, or costly to create. Although multimodal generators can synthesize content on demand, how to translate behavioral traces into generation-ready preferences remains underexplored. We study personalized multimodal content generation: creating user-tailored multimodal content without existing item pools or waiting for matching UGC. We propose TailorMind, linking collaborative preference modeling with controllable multimodal generation. TailorMind enriches sparse user histories via hypergraph collaborative filtering and optimizes textual profiles with ranking-error feedback and textual gradient descent. Retrieval-augmented style control grounds outputs in authentic UGC patterns, while cross-modal cohesion reflection reduces semantic drift. We construct TailorBench, a benchmark from three mainstream platforms evaluated along five dimensions: coherence, novelty, aesthetic, hallucination, profiling. Experiments show that TailorMind achieves competitive or stronger coherence, improves novelty and aesthetic quality over representative generation baselines and ground-truth UGC, demonstrating advantages over retrieving available content or comparable UGC, while achieving up to 29% Recall gains in reranking. Our code is released at: https://github.com/iLearn-Lab/TailorMind.