상호작용을 통한 개선: CMA-ES-IG를 이용한 행동 표현 공간 탐색

Improving through Interaction: Searching Behavioral Representation Spaces with CMA-ES-IG

인간과 상호작용하는 로봇은 인간 중심 환경에서 효과적으로 작동하기 위해 개별 사용자의 선호도에 적응해야 합니다. 비전문가 사용자의 선호도를 학습하는 직관적이고 효과적인 방법 중 하나는 로봇의 행동, 예를 들어 경로, 제스처 또는 음성 등을 순위 매기는 것입니다. 기존의 기술은 주로 샘플 효율성이나 최종 선호도 추정 정확도와 같은 선호도 학습 결과의 최적화를 위한 쿼리 생성에 중점을 둡니다. 그러나 이러한 결과에 대한 집중은 순위를 제공하는 과정에서 사용자가 중요하게 생각하는 요소를 간과할 수 있으며, 이는 로봇 시스템의 사용자의 수용에 부정적인 영향을 미칠 수 있습니다. 본 연구에서는 정보 획득(Information Gain)을 통합한 공분산 행렬 적응 진화 전략(Covariance Matrix Adaptation Evolution Strategies with Information Gain, CMA-ES-IG) 알고리즘을 제안합니다. CMA-ES-IG는 사용자가 순위를 매기도록 제안하는 시각적으로 구별되고 유용한 경로를 제공함으로써, 선호도 학습 과정에 사용자의 경험을 명시적으로 고려합니다. 시뮬레이션 연구와 실제 로봇 실험을 통해 이러한 이점을 입증합니다. CMA-ES-IG는 최첨단 기술과 비교했을 때, (1) 고차원 선호도 공간에 더 효과적으로 확장되며, (2) 고차원 문제에 대해 계산적 효율성을 유지하며, (3) 노이즈가 있거나 일관성 없는 사용자 피드백에 강건하며, (4) 비전문가 사용자가 선호하는 로봇 행동을 식별하는 데 더 선호됩니다. 이 프로젝트의 코드는 github.com/interaction-lab/CMA-ES-IG에서 확인할 수 있습니다.

Robots that interact with humans must adapt to individual users' preferences to operate effectively in human-centered environments. An intuitive and effective technique to learn non-expert users' preferences is through rankings of robot behaviors, e.g., trajectories, gestures, or voices. Existing techniques primarily focus on generating queries that optimize preference learning outcomes, such as sample efficiency or final preference estimation accuracy. However, the focus on outcome overlooks key user expectations in the process of providing these rankings, which can negatively impact users' adoption of robotic systems. This work proposes the Covariance Matrix Adaptation Evolution Strategies with Information Gain (CMA-ES-IG) algorithm. CMA-ES-IG explicitly incorporates user experience considerations into the preference learning process by suggesting perceptually distinct and informative trajectories for users to rank. We demonstrate these benefits through both simulated studies and real-robot experiments. CMA-ES-IG, compared to state-of-the-art alternatives, (1) scales more effectively to higher-dimensional preference spaces, (2) maintains computational tractability for high-dimensional problems, (3) is robust to noisy or inconsistent user feedback, and (4) is preferred by non-expert users in identifying their preferred robot behaviors. This project's code is available at github.com/interaction-lab/CMA-ES-IG