개인 맞춤형 다중 모드 콘텐츠 생성을 위한 사용자 행동 분석

Navigating User Behavior toward Personalized Multimodal Generation

최신 AIGC(AI Generated Content) 시스템은 고품질 이미지와 비디오를 제공하지만, 효과적인 생성 지침이 필요하며, 실제 사용자는 시각적 세부 사항을 명확하게 표현하지 않아 생성 모델과 사용자 요구 간의 불일치가 발생합니다. 본 연구는 개인 맞춤형 콘텐츠 생성을 위해 사용자의 상호 작용 기록을 실행 가능한 지침으로 변환하는 방법을 제시하고, 두 가지 주요 과제를 분석합니다. 첫째, 사용자의 행동 데이터를 언어 추론에 적합한 형태로 인코딩해야 하며, 둘째, 사전 학습 및 행동 데이터에서 얻을 수 없는 지시문 작성 능력을 모델이 획득해야 합니다. 본 연구에서는 NaviGen이라는 모델을 제안하며, 이는 각 항목을 공동 코딩과 텍스트 코딩의 이중 식별자로 표현하여 사용자의 행동 데이터를 기반으로 의미론적 연결을 제공합니다. NaviGen은 두 단계의 SFT(Supervised Fine-Tuning) + RL(Reinforcement Learning) 파이프라인을 통해 진화적으로 탐색된 감독 신호로부터 선호도 추론 및 지시문 작성 능력을 학습하고, 계층적이고 일관성 있는 보상을 활용하여 생성 모델을 사용자 의도에 맞춥니다. 제품, 게임, 짧은 비디오 등 다양한 도메인에서의 실험 결과, NaviGen이 개인 맞춤형 이미지 및 비디오 생성을 개선하고, 다음 항목 예측 성능을 향상시키며, 더 구체적이고 관련성 높으며 시각적으로 생성 가능한 지시문을 생성한다는 것을 확인했습니다. NaviGen의 코드는 익명으로 공개되어 있습니다: https://github.com/iLearn-Lab/NaviGen.

Modern AIGC pipelines deliver high-fidelity images and videos but presuppose a well-formed creation instruction, while end users rarely articulate visual details, leaving generators misaligned with user demand. We study personalized content generation, which turns a user's interaction history into an executable instruction for downstream synthesis, and identify two obstacles: behavior must be encoded in a form legible to language reasoning, and the model must acquire instruction-writing skill absent from both pretraining and behavior data. We propose NaviGen, which represents each item with a dual identifier coupling a collaborative code and a textual code as a behavioral substrate and a semantic bridge in one token stream. On this representation, a two-stage SFT+RL pipeline first distills preference reasoning and instruction writing from evolutionarily searched supervision, then aligns generation with user intent through hierarchical and self-consistent rewards. Experiments across product, game, and short-video domains show that NaviGen improves personalized image and video generation, strengthens next-item prediction, and yields more specific, relevant, and visually generatable instructions. Our code is anonymously released at: https://github.com/iLearn-Lab/NaviGen.