모방 학습을 위한 차이점 인식 검색 정책

Difference-Aware Retrieval Policies for Imitation Learning

행동 복제를 통한 매개변수 기반 모방 학습은 배포 과정에서 발생하는 오류가 누적되어 분포 외부 상태에 대한 일반화 성능이 저하될 수 있습니다. 본 연구에서는 반-매개변수 기반 검색을 활용한 모방 학습 방법을 통해 추론 시 훈련 데이터를 재사용함으로써 이러한 문제를 완화할 수 있음을 보여줍니다. 우리는 차이점 인식 검색 정책(Difference-Aware Retrieval Policies, DARP)이라는 반-매개변수 기반 모방 학습 접근 방식을 제안합니다. DARP는 직접적인 상태-행동 매핑 대신 지역 이웃 구조를 기준으로 모방 학습 문제를 재정의하여 이러한 한계를 극복합니다. DARP는 전체 정책을 학습하는 대신, 전문가 데모 데이터에서 추출된 k-최근접 이웃, 해당 행동, 그리고 이웃 상태와 쿼리 상태 사이의 상대적인 거리 벡터를 기반으로 행동을 예측하는 모델을 학습합니다. DARP는 표준 행동 복제에 사용되는 추가적인 가정 외에는 요구 사항이 없으며, 추가적인 데이터 수집, 온라인 전문가 피드백 또는 작업별 지식이 필요하지 않습니다. 우리는 연속 제어 및 로봇 조작 등 다양한 영역에서, 또한 고차원 시각적 특징을 포함한 다양한 표현 방식에서도 표준 행동 복제에 비해 15-46%의 성능 향상을 보임을 입증했습니다. 코드 및 데모는 https://weirdlabuw.github.io/darp-site/ 에서 확인할 수 있습니다.

Parametric imitation learning via behavior cloning can suffer from poor generalization to out-of-distribution states due to compounding errors during deployment. We show that reusing the training data during inference via a semi-parametric retrieval-based imitation learning approach can alleviate this challenge. We present Difference-Aware Retrieval Policies for Imitation Learning (DARP), a semi-parametric retrieval-based imitation learning approach that addresses this limitation by reparameterizing the imitation learning problem in terms of local neighborhood structure rather than direct state-to-action mappings. Instead of learning a global policy, DARP trains a model to predict actions based on $k$-nearest neighbors from expert demonstrations, their corresponding actions, and the relative distance vectors between neighbor states and query states. DARP requires no additional assumptions beyond those made for standard behavior cloning -- it does not require additional data collection, online expert feedback, or task-specific knowledge. We demonstrate consistent performance improvements of 15-46% over standard behavior cloning across diverse domains, including continuous control and robotic manipulation, and across different representations, including high-dimensional visual features. Code and demos are available at https://weirdlabuw.github.io/darp-site/.