확률적 선호도 기반의 불확실성 인지 변분 보상 인수 분해를 통한 LLM 개인화

Uncertainty-Aware Variational Reward Factorization via Probabilistic Preference Bases for LLM Personalization

보상 인수 분해는 대규모 언어 모델(LLM)을 개인화하기 위해 보상을 공유된 기본 함수와 사용자별 가중치로 분해합니다. 그러나 기존 방법은 제한적인 데이터로부터 사용자 가중치를 개별적으로 추정하며, 결정론적인 값으로 처리하여 부정확하고 신뢰할 수 없는 결과를 초래합니다. 본 논문에서는 각 사용자의 선호도를 공유된 선호도 공간에서 변분 분포로 표현하는 불확실성 인지 프레임워크인 Variational Reward Factorization (VRF)을 제안합니다. VRF는 변분 인코더를 사용하여 사용자 분포를 추론하고, Wasserstein 거리를 통해 공유된 확률적 기본 함수와 일치시키는 방식으로 가중치를 도출하며, 분산을 감소시키는 손실 함수를 적용하여 불확실한 추정치를 줄입니다. 세 가지 벤치마크에서 VRF는 기존 방법들보다 모든 사용자(관찰된 및 미관찰된 사용자에 대해), 소량의 데이터 환경, 그리고 다양한 수준의 불확실성에서도 우수한 성능을 보였으며, 이러한 향상은 downstream alignment 작업에도 영향을 미칩니다. 본 논문의 코드는 https://github.com/Gyu-Seok-Lee/VRF_COLM26 에서 확인할 수 있습니다.

Reward factorization personalizes large language models (LLMs) by decomposing rewards into shared basis functions and user-specific weights. Yet, existing methods estimate user weights from scarce data in isolation and as deterministic points, leading to inaccurate and unreliable inference. We introduce Variational Reward Factorization (VRF), an uncertainty-aware framework that represents each user's preferences as a variational distribution in a shared preference space. VRF infers user distributions via a variational encoder, derives weights through Wasserstein distance matching with shared probabilistic bases, and downweights uncertain estimates through a variance-attenuated loss. On three benchmarks, VRF outperforms all baselines across seen and unseen users, few-shot scenarios, and varying uncertainty levels, with gains extending to downstream alignment. Our code is available at https://github.com/Gyu-Seok-Lee/VRF_COLM26.