EXACT: 명시적 속성 기반 디코딩 시간 개인화

EXACT: Explicit Attribute-Guided Decoding-Time Personalization

개인화된 정렬을 달성하려면 대규모 언어 모델을 각 사용자의 변화하는 맥락에 맞게 조정해야 합니다. 디코딩 시간 개인화는 학습 시간 방법을 대체할 수 있는 확장 가능한 대안을 제공하지만, 기존 방법은 주로 명확하게 해석하기 어려운 선호도 표현에 의존하며, 맥락에 독립적인 사용자를 나타내어 프롬프트에 따른 선호도의 변화를 고려하지 못합니다. 본 논문에서는 정의된 해석 가능한 속성 집합을 사용하여 제한된 쌍별 선호도 피드백을 통해 생성을 조정하는 새로운 디코딩 시간 개인화 방법인 EXACT를 소개합니다. EXACT는 먼저 오프라인 단계에서 선호되는 응답의 가능성을 최대화하여 사용자별 속성 집합을 식별합니다. 온라인 추론 과정에서, EXACT는 입력 프롬프트와 가장 의미적으로 관련된 속성을 검색하고, 생성을 안내하기 위해 해당 속성을 맥락에 주입합니다. 제안된 알고리즘은 가벼운 가정 하에 이론적인 근사 보장을 제공하며, 유사성 기반 검색 메커니즘이 문맥적 선호도 변화를 효과적으로 완화하여 상반되는 선호도를 통합하지 않고 다양한 작업에 적응할 수 있음을 증명합니다. 인간이 주석을 단 선호도 데이터 세트에서 수행한 광범위한 실험 결과, EXACT는 기존의 강력한 방법들을 꾸준히 능가하며, 선호도 모델링 정확도와 개인화된 생성 품질 측면에서 우수한 성능을 보였습니다.

Achieving personalized alignment requires adapting large language models to each user's evolving context. While decoding-time personalization offers a scalable alternative to training-time methods, existing methods largely rely on implicit, less interpretable preference representations and impose a rigid, context-agnostic user representation, failing to account for how preferences shift across prompts. We introduce EXACT, a new decoding-time personalization that aligns generation with limited pairwise preference feedback using a predefined set of interpretable attributes. EXACT first identifies user-specific attribute subsets by maximizing the likelihood of preferred responses in the offline stage. Then, for online inference, EXACT retrieves the most semantically relevant attributes for an incoming prompt and injects them into the context to steer generation. We establish theoretical approximation guarantees for the proposed algorithm under mild assumptions, and provably show that our similarity-based retrieval mechanism effectively mitigates contextual preference shifts, adapting to disparate tasks without pooling conflicting preferences. Extensive experiments on human-annotated preference datasets demonstrate that EXACT consistently outperforms strong baselines, including preference modeling accuracy and personalized generation quality.