생성적 로봇 정책 학습에서의 시뮬레이션-실제 공동 학습 메커니즘 분석

A Mechanistic Analysis of Sim-and-Real Co-Training in Generative Robot Policies

공동 학습은 제한적인 실제 데이터와 시뮬레이션 데이터 또는 교차 로봇 데이터와 같은 풍부한 대체 데이터를 결합하여 생성적 로봇 정책을 훈련하는 데 널리 사용됩니다. 경험적으로 성공적임에도 불구하고, 공동 학습이 언제, 왜 효과적인지에 대한 메커니즘은 아직 잘 이해되지 않았습니다. 본 연구에서는 이론적 분석과 실험 연구를 통해 시뮬레이션-실제 공동 학습의 메커니즘을 조사하고, 성능을 결정하는 두 가지 핵심 요인을 밝혀냈습니다. 첫 번째 요인은 '구조화된 표현 정렬(structured representation alignment)'로, 이는 교차 도메인 표현 정렬과 도메인 구별력 사이의 균형을 반영하며, 하위 작업 성능에 중요한 역할을 합니다. 두 번째 요인은 '중요도 재가중치 효과(importance reweighting effect)'로, 이는 도메인 의존적인 행동 가중치 조절에서 비롯되며, 2차적인 역할을 수행합니다. 이러한 효과는 간단한 모델에 대한 통제된 실험과 광범위한 시뮬레이션-시뮬레이션 및 시뮬레이션-실제 로봇 조작 실험을 통해 검증되었습니다. 본 연구의 분석은 최근 공동 학습 기술에 대한 통합적인 해석을 제공하며, 기존 접근 방식보다 일관되게 성능을 향상시키는 간단한 방법을 제시합니다. 더 나아가, 본 연구는 공동 학습의 내부 작동 방식을 이해하고, 이 분야의 연구를 촉진하는 것을 목표로 합니다.

Co-training, which combines limited in-domain real-world data with abundant surrogate data such as simulation or cross-embodiment robot data, is widely used for training generative robot policies. Despite its empirical success, the mechanisms that determine when and why co-training is effective remain poorly understood. We investigate the mechanism of sim-and-real co-training through theoretical analysis and empirical study, and identify two intrinsic effects governing performance. The first, \textbf{``structured representation alignment"}, reflects a balance between cross-domain representation alignment and domain discernibility, and plays a primary role in downstream performance. The second, the \textbf{``importance reweighting effect"}, arises from domain-dependent modulation of action weighting and operates at a secondary level. We validate these effects with controlled experiments on a toy model and extensive sim-and-sim and sim-and-real robot manipulation experiments. Our analysis offers a unified interpretation of recent co-training techniques and motivates a simple method that consistently improves upon prior approaches. More broadly, our aim is to examine the inner workings of co-training and to facilitate research in this direction.