순차 로봇 작업에서의 합성 일반화 진단

Diagnosing Compositional Generalization in Sequential Robot Tasks

순차적인 로봇 조작은 로봇이 익숙한 명령어 구성 요소의 새로운 조합을 실행할 수 있는 정책을 요구합니다. 그러나 가능한 모든 명령어 쌍에 대한 시연 데이터를 수집하는 것은 계산적으로 매우 비싸며, 데이터가 부족한 경우, 분포 외 재조합 시 성능이 저하되는 경우가 많습니다. 본 논문에서는 명령어 공간 커버리지를 관점에서 합성 일반화를 연구합니다. 우리는 일반화 격차를 세 가지 요인으로 분해합니다: extit{개별 명령어 변화}, extit{명령어 조합 변화}, 그리고 extit{맥락-행동 변화}. 이러한 분해를 통해, 희소한 학습 데이터가 충분할 때와 안정적인 행동 예측을 위해 학습 데이터가 유지해야 할 구조를 진단할 수 있습니다. 우리의 결과는 모든 명령어 쌍을 나열하는 것이 불필요하다는 것을 보여줍니다. 전체 작업 공간의 1/4에 해당하는 정돈된 부분 집합만으로도, 행동과 관련된 의존성을 포함하는 경우 강력한 분포 외 성능을 회복할 수 있습니다. 또한, 희소한 학습이 실패하는 이유는 종종 기본 기술 부족보다는 명령어 제어 문제 때문이며, 각 작업당 하나의 시연 데이터만 사용한 미세 조정은 OOD 성공률을 0.4%에서 54.7%로 향상시킵니다. 의미적으로 의존적인 작업의 경우, 효과적인 커버리지는 관계 구조를 포착해야 하며, 단순히 다양한 요인만을 고려해서는 안 됩니다. 이러한 결과는 효율적인 로봇 데이터 수집이 모든 작업을 망라하는 것보다 명령어 공간에서의 의존성 커버리지에 우선순위를 두어야 함을 시사합니다. 자세한 내용은 부록 자료에서 확인할 수 있습니다. 프로젝트 웹사이트: https://yixiaowang7.github.io/Diagnosing_Compositional_Generalization_Robot_Page/

Sequential robot manipulation requires policies to execute novel combinations of familiar instruction components. However, collecting demonstrations for all possible instruction tuples is combinatorially expensive, while sparsely covered datasets often fail under out-of-distribution recombination. This paper studies compositional generalization through the lens of instruction-space coverage. We decompose the generalization gap into three sources: \textit{marginal instruction shift}, \textit{instruction-compositional shift}, and \textit{context--action shift}. This decomposition allows us to diagnose when sparse training coverage is sufficient, and what structure the training set must preserve for reliable action prediction. Our results show that exhaustive tuple enumeration is unnecessary: a structured subset, as small as one quarter of the full task space, can recover strong out-of-distribution performance when it covers action-relevant dependencies. We further find that sparse training often fails due to instruction steering rather than missing low-level skills; finetuning only one demonstration per task improves OOD success from \(0.4\%\) to \(54.7\%\). For semantically dependent tasks, effective coverage must capture relational structure rather than only factor diversity. These findings suggest that efficient robot data collection should prioritize dependency coverage in instruction space over exhaustive task expansion. More results are available in the supplementary material. Project website: https://yixiaowang7.github.io/Diagnosing_Compositional_Generalization_Robot_Page/.