PEC-Home: 스마트 홈 환경에서의 점진적인 생략 명령 해석

PEC-Home: Interpretation of Progressively Elliptical Commands in Smart Homes

최근 대규모 언어 모델(LLM)의 발전은 가정용 어시스턴트에게 자연어 인터랙션 기능을 제공했습니다. 그러나 현재 어시스턴트는 인간 대화에서 공유된 맥락이 축적됨에 따라 발생하는 점진적인 생략 현상을 간과하여, 효율적인 의사소통을 위한 더욱 압축적인 표현을 제대로 이해하지 못합니다. 따라서 현재 어시스턴트는 이러한 압축적인 표현을 정확하게 해석하는 데 어려움을 겪으며, 이는 실제 응용 분야에서의 효과를 제한합니다. 실제 스마트 홈 환경에서 어시스턴트는 압축 명령으로 인해 발생하는 두 가지 주요 문제에 직면합니다: (1) 여러 사용자의 다양한 환경적 기대로 인한 참조의 모호성; 그리고 (2) 시간이 지남에 따라 또는 환경 변화에 따라 사용자의 선호도가 변하는 경우 발생하는 의도의 모호성입니다. 이러한 문제를 해결하기 위해, 우리는 스마트 홈 환경에서 점진적인 생략 명령을 해석하도록 특별히 설계된 첫 번째 시뮬레이션 가정 데이터셋인 PEC-Home을 소개합니다. GPT-4o를 포함한 다양한 LLM에 대한 광범위한 실험 결과, 기존의 가정용 어시스턴트는 압축 명령만으로는 사용자의 의도대로 작업을 수행하는 데 어려움을 겪는다는 것을 보여줍니다. 사용자 대화 기록을 저장하고 검색할 수 있는 도구를 갖추더라도 실행 정확도는 완전한 명령을 사용할 때 달성되는 수준에 미치지 못합니다.

Recent advancements in Large Language Models (LLMs) have empowered home assistants with natural language interaction capabilities. However, current assistants overlook the progressive omission that occurs in human dialogue as shared context accumulates, leading to more elliptical expressions for efficient communication. Thus, current assistants still struggle to interpret such elliptical expressions accurately, which limits their effectiveness in real-world applications. In practical smart home scenarios, assistants face two major challenges caused by elliptical commands: (1) referential ambiguity caused by different environmental expectations among multiple users; and (2) intention ambiguity resulting from user preferences that evolve over time or change with the environment. To address these challenges, we introduce PEC-Home, the first simulated home dataset specifically designed for interpreting progressively elliptical commands in smart homes. Extensive experiments on various LLMs, including GPT-4o, show that existing home assistants struggle to execute user-intended operations based solely on elliptical commands. Even when equipped with tools for storing and retrieving user dialogue history, execution accuracy remains below that achieved with complete commands.}.