CARD: 개인화된 텍스트 생성을 위한 보상 유도 디코딩 및 클러스터 수준 적응

CARD: Cluster-level Adaptation with Reward-guided Decoding for Personalized Text Generation

대규모 언어 모델을 개별 사용자에게 적응시키는 것은 세밀한 개인화와 확장 가능한 배포 사이의 상충 관계로 인해 여전히 어려운 과제입니다. 본 논문에서는 점진적인 정제 과정을 통해 효과적인 개인화를 달성하는 계층적 프레임워크인 CARD를 제안합니다. CARD는 먼저 공유된 문체 패턴에 따라 사용자를 클러스터링하고 클러스터별 LoRA 어댑터를 학습하여, 견고한 일반화 능력과 우수한 저자원 성능을 확보합니다. 각 클러스터 내의 개별적 차이를 포착하기 위해, 사용자가 작성한 텍스트와 클러스터 수준의 생성 결과를 대조하는 암시적 선호도 학습 메커니즘을 제안하며, 이를 통해 모델은 별도의 수동 주석 없이 사용자 고유의 스타일 선호도를 추론할 수 있습니다. 추론 시 CARD는 기본 모델을 동결한 상태로 유지하면서, 경량 사용자 선호도 벡터와 저랭크(low-rank) 로짓 보정을 통해 오직 디코딩 단계에서만 개인화 요소를 주입합니다. LaMP 및 LongLaMP 벤치마크 실험 결과, CARD는 최신 베이스라인 대비 경쟁력 있거나 우수한 생성 품질을 달성했을 뿐만 아니라, 실용적인 개인화 텍스트 생성을 위한 효율성과 확장성을 크게 향상시켰습니다.

Adapting large language models to individual users remains challenging due to the tension between fine-grained personalization and scalable deployment. We present CARD, a hierarchical framework that achieves effective personalization through progressive refinement. CARD first clusters users according to shared stylistic patterns and learns cluster-specific LoRA adapters, enabling robust generalization and strong low-resource performance. To capture individual differences within each cluster, we propose an implicit preference learning mechanism that contrasts user-authored text with cluster-level generations, allowing the model to infer user-specific style preferences without manual annotation. At inference time, CARD injects personalization exclusively at decoding via lightweight user preference vectors and low-rank logit corrections, while keeping the base model frozen. Experiments on the LaMP and LongLaMP benchmarks show that CARD achieves competitive or superior generation quality compared to state-of-the-art baselines, while significantly improving efficiency and scalability for practical personalized text generation.