트랜스포머 트랜스포머: 동작 기반 로봇 공동 설계 모델

Transformer Transformer: A Unified Model for Motion-Conditioned Robot Co-design

로봇 조작 성능에 대한 중요한 요소 중 하나는 로봇 자체의 구조(embodiment)이다. 본 연구에서는 이러한 문제를 해결하기 위해, 목표 엔드 이펙터 궤적을 추종하고 사용자가 정의한 보상을 최적화하는 완전한 로봇 설계 모델인 동작 기반 로봇 공동 설계를 연구한다. 우리는 RoboTokens라는 통합 토큰화 방식을 사용하여 로봇 구조, 상태 및 행동에 대해 학습된 디퓨전 트랜스포머인 Transformer Transformer를 제안한다. 동일한 아키텍처는 다양한 로봇 구조 공간(예: 바퀴 달린 양팔 로봇, 4족 보행 로봇, 인간형 로봇)과 사용 사례(구조 생성, 교차 구조 컨트롤러)에 적용될 수 있다. Transformer Transformer는 특정 보상 함수에 과적합되는 것이 아니라, 상태 및 행동 예측을 통해 다양한 보상에 대한 가치 예측으로 변환할 수 있는 동역학 모델이다. 이러한 가치 예측은 Dynamics Self-Guidance라는 과정을 통해 로봇 구조 디퓨전을 고성능 로봇 설계로 유도하는 데 사용된다. 여러 설계 공간에서의 실험 결과, Transformer Transformer는 기존 진화 알고리즘보다 성능과 실행 시간을 향상시키면서 새로운 보상 및 궤적에 대한 제로샷 최적화를 가능하게 한다. 마지막으로, 최적화된 ALOHA 설계를 제작하여 원래 설계와 비교했을 때 추적 오류를 70% 이상 줄였다.

An often overlooked factor of robot manipulation performance is the embodiment of the robot itself. Motivated by this problem, we study motion-conditioned robot co-design, where the goal is to generate complete robot designs that track target end-effector trajectories (from human demonstrations) while optimizing user-defined rewards. We introduce Transformer Transformer, a diffusion transformer trained on RoboTokens, a unified tokenization of robot embodiments, states, and actions. The same architecture can be used across embodiment spaces (e.g., wheeled bimanual, quadrupeds, humanoids) and use cases (embodiment generation, cross embodiment controller). Rather than overfitting to one reward function, Transformer Transformer is a dynamics model, whose reward-agnostic state and action predictions can be converted into reward-specific value predictions. These value predictions are used to steer embodiment diffusion towards high value robot designs, through a procedure we call Dynamics Self-Guidance. Experiments across multiple design spaces show zero-shot optimization of unseen rewards and trajectories, improving performance and runtime over the evolutionary baseline. Finally, we fabricated an optimized ALOHA design, which reduced tracking error by over 70% compared to the original design.