장소와 내용: 상황적 대화 추천에서 동적 및 암묵적 선호도 추론

Where and What: Reasoning Dynamic and Implicit Preferences in Situated Conversational Recommendation

특정 환경에 기반한 시각적 장면과 자연어 대화를 활용하여 상황에 맞는 추천을 제공하는 상황적 대화 추천(SCR)은 실제 시나리오와의 밀접한 연관성으로 인해 유망한 연구 분야로 부상했습니다. 전통적인 추천 방식과 달리, SCR은 주변 환경이 사용자의 기본 관심사에 영향을 미치고, 이러한 요소들이 대화 과정에서 변화할 수 있으므로 사용자의 동적이고 암묵적인 선호도에 대한 더 깊은 이해를 요구합니다. 이러한 복잡성은 추천의 적절성과 관련성에 큰 영향을 미칩니다. 이러한 문제를 해결하기 위해, 우리는 두 가지 핵심 메커니즘을 통합한 새로운 프레임워크인 상황적 선호도 추론(SiPeR)을 제안합니다. (1) 장면 전환 추정: 현재 장면이 사용자의 요구를 충족하는지 추정하고, 필요한 경우 사용자를 더 적합한 장면으로 안내합니다. (2) 베이지안 역추론: 멀티모달 대규모 언어 모델(MLLM)의 가능성을 활용하여 장면 내 후보 항목에 대한 사용자의 선호도를 예측합니다. 두 가지 대표적인 벤치마크에 대한 광범위한 실험 결과는 SiPeR이 추천 정확도와 응답 생성 품질 모두에서 우수한 성능을 보임을 입증합니다. 코드와 데이터는 https://github.com/DongdingLin/SiPeR 에서 확인할 수 있습니다.

Situated conversational recommendation (SCR), which utilizes visual scenes grounded in specific environments and natural language dialogue to deliver contextually appropriate recommendations, has emerged as a promising research direction due to its close alignment with real-world scenarios. Compared to traditional recommendations, SCR requires a deeper understanding of dynamic and implicit user preferences, as the surrounding scene often influences users' underlying interests, while both may evolve across conversations. This complexity significantly impacts the timing and relevance of recommendations. To address this, we propose situated preference reasoning (SiPeR), a novel framework that integrates two core mechanisms: (1) Scene transition estimation, which estimates whether the current scene satisfies user needs, and guides the user toward a more suitable scene when necessary; and (2) Bayesian inverse inference, which leverages the likelihood of multimodal large language models (MLLMs) to predict user preferences about candidate items within the scene. Extensive experiments on two representative benchmarks demonstrate SiPeR's superiority in both recommendation accuracy and response generation quality. The code and data are available at https://github.com/DongdingLin/SiPeR.