사용자 로그를 활용하여 대규모 언어 모델 시스템 성능 향상

Improve Large Language Model Systems with User Logs

대규모 언어 모델(LLM)의 발전은 오랫동안 학습 데이터의 크기와 모델 파라미터의 증가에 의해 주도되어 왔지만, 고품질 데이터 부족과 증가하는 계산 비용으로 인해 이러한 발전 방식은 점점 더 제약을 받고 있습니다. 이에 따라 최근 연구에서는 실제 배포 환경에서 얻은 사용자 상호 작용 로그를 활용한 지속적인 학습에 대한 관심이 높아지고 있는데, 이는 실제 사용자의 피드백과 절차적 지식을 풍부하게 제공합니다. 그러나 사용자 로그는 비정형적이고 노이즈가 많기 때문에 학습하기 어렵다는 문제가 있습니다. 일반적인 LLM 시스템은 유용한 피드백 신호를 노이즈로 가득한 사용자 행동으로부터 구별하는 데 어려움을 겪으며, 사용자 로그 수집과 모델 최적화 간의 불일치(예: 오프라인 최적화 문제)는 이러한 문제를 더욱 심화시킵니다. 이에, 본 연구에서는 사용자 로그를 활용하여 LLM 시스템(LLMsys)의 성능을 향상시키는 통합 프레임워크인 UNO(User log-driveN Optimization)를 제안합니다. UNO는 먼저 로그를 반정형 규칙과 선호도 쌍으로 변환하고, 데이터 이질성을 관리하기 위해 질의 및 피드백 기반 클러스터링을 사용하며, 마지막으로 모델의 기존 지식과 로그 데이터 간의 인지적 간극을 정량화합니다. 이러한 분석을 통해 LLMsys는 노이즈가 많은 피드백을 효과적으로 필터링하고, 사용자 로그에서 추출한 주요 경험과 보조 경험을 기반으로 다양한 모듈을 구축하여 향후 응답의 성능을 향상시킵니다. 광범위한 실험 결과, UNO는 최첨단 수준의 효과와 효율성을 달성했으며, 검색 증강 생성(RAG) 및 메모리 기반 모델과 같은 기존 방법보다 훨씬 뛰어난 성능을 보였습니다. 저희는 UNO의 코드를 https://github.com/bebr2/UNO 에서 공개적으로 제공합니다.

Scaling training data and model parameters has long driven progress in large language models (LLMs), but this paradigm is increasingly constrained by the scarcity of high-quality data and diminishing returns from rising computational costs. As a result, recent work is increasing the focus on continual learning from real-world deployment, where user interaction logs provide a rich source of authentic human feedback and procedural knowledge. However, learning from user logs is challenging due to their unstructured and noisy nature. Vanilla LLM systems often struggle to distinguish useful feedback signals from noisy user behavior, and the disparity between user log collection and model optimization (e.g., the off-policy optimization problem) further strengthens the problem. To this end, we propose UNO (User log-driveN Optimization), a unified framework for improving LLM systems (LLMsys) with user logs. UNO first distills logs into semi-structured rules and preference pairs, then employs query-and-feedback-driven clustering to manage data heterogeneity, and finally quantifies the cognitive gap between the model's prior knowledge and the log data. This assessment guides the LLMsys to adaptively filter out noisy feedback and construct different modules for primary and reflective experiences extracted from user logs, thereby improving future responses. Extensive experiments show that UNO achieves state-of-the-art effectiveness and efficiency, significantly outperforming Retrieval Augmented Generation (RAG) and memory-based baselines. We have open-sourced our code at https://github.com/bebr2/UNO .