EgoSelf: 기억에서 개인화된 자기 중심형 어시스턴트로

EgoSelf: From Memory to Personalized Egocentric Assistant

자기 중심형 어시스턴트는 개인화된 서비스를 제공하기 위해 사용자의 행동 및 맥락을 파악하기 위해 주로 1인 시점 데이터를 활용합니다. 사용자는 각기 다른 습관, 선호도 및 일상을 가지고 있기 때문에, 진정으로 효과적인 지원을 위해서는 이러한 개인화가 필수적입니다. 그러나 장기적인 사용자 데이터를 효과적으로 통합하여 개인화를 구현하는 것은 여전히 중요한 과제입니다. 이러한 문제를 해결하기 위해, 우리는 과거 관찰 데이터를 기반으로 구축된 그래프 기반 상호 작용 메모리와 개인화를 위한 전용 학습 태스크를 포함하는 시스템인 EgoSelf를 소개합니다. 이 메모리는 상호 작용 이벤트 및 엔티티 간의 시간적 및 의미적 관계를 파악하며, 이를 통해 사용자별 프로필을 생성합니다. 개인화된 학습 태스크는 예측 문제로 정의되며, 모델은 그래프에 기록된 개별 사용자의 과거 행동으로부터 가능한 미래 상호 작용을 예측합니다. 광범위한 실험을 통해 EgoSelf가 개인화된 자기 중심형 어시스턴트로서 효과적임을 입증했습니다. 코드는 다음 링크에서 확인할 수 있습니다: [https://abie-e.github.io/egoself_project/](https://abie-e.github.io/egoself_project/).

Egocentric assistants often rely on first-person view data to capture user behavior and context for personalized services. Since different users exhibit distinct habits, preferences, and routines, such personalization is essential for truly effective assistance. However, effectively integrating long-term user data for personalization remains a key challenge. To address this, we introduce EgoSelf, a system that includes a graph-based interaction memory constructed from past observations and a dedicated learning task for personalization. The memory captures temporal and semantic relationships among interaction events and entities, from which user-specific profiles are derived. The personalized learning task is formulated as a prediction problem where the model predicts possible future interactions from individual user's historical behavior recorded in the graph. Extensive experiments demonstrate the effectiveness of EgoSelf as a personalized egocentric assistant. Code is available at \href{https://abie-e.github.io/egoself_project/}{https://abie-e.github.io/egoself\_project/}.