로그에서 언어로: LLM 기반 추천 시스템의 생산 환경에서의 최적 언어 표현 학습

From Logs to Language: Learning Optimal Verbalization for LLM-Based Recommendation in Production

대규모 언어 모델(LLM)은 생성형 추천 시스템의 강력한 기반 기술로 주목받고 있지만, 중요한 과제인 '언어 표현(verbalization)'이 아직 충분히 연구되지 않았습니다. 언어 표현이란, 정형화된 사용자 상호 작용 로그를 효과적인 자연어 입력으로 변환하는 것을 의미합니다. 기존 방법은 단순히 필드를 연결하는 경직된 템플릿에 의존하여, 추천에 적합하지 않은 하위 최적의 표현을 생성합니다. 본 연구에서는 LLM 기반 추천을 위한 언어 표현 학습에 초점을 맞춘 데이터 중심 프레임워크를 제안합니다. 강화 학습을 사용하여, 언어 표현 에이전트는 추천 정확도를 학습 신호로 삼아 원시 상호 작용 기록을 최적화된 텍스트 컨텍스트로 변환합니다. 이 에이전트는 노이즈를 제거하고, 관련 메타데이터를 포함하며, 정보를 재구성하여 후속 예측 성능을 향상시킵니다. 대규모 산업 스트리밍 데이터셋에 대한 실험 결과, 학습된 언어 표현은 템플릿 기반의 기준 모델보다 최대 93%의 상대적인 추천 정확도 향상을 보여주었습니다. 추가 분석을 통해, 사용자 관심 요약, 노이즈 제거, 구문 정규화와 같은 새로운 전략이 발견되었으며, 이는 LLM 기반 추천 시스템을 위한 효과적인 컨텍스트 구성에 대한 통찰력을 제공합니다.

Large language models (LLMs) are promising backbones for generative recommender systems, yet a key challenge remains underexplored: verbalization, i.e., converting structured user interaction logs into effective natural language inputs. Existing methods rely on rigid templates that simply concatenate fields, yielding suboptimal representations for recommendation. We propose a data-centric framework that learns verbalization for LLM-based recommendation. Using reinforcement learning, a verbalization agent transforms raw interaction histories into optimized textual contexts, with recommendation accuracy as the training signal. This agent learns to filter noise, incorporate relevant metadata, and reorganize information to improve downstream predictions. Experiments on a large-scale industrial streaming dataset show that learned verbalization delivers up to 93% relative improvement in discovery item recommendation accuracy over template-based baselines. Further analysis reveals emergent strategies such as user interest summarization, noise removal, and syntax normalization, offering insights into effective context construction for LLM-based recommender systems.