TMR-VLA: 삼족 실리콘 기반 소형 로봇의 자기 구동 제어를 위한 비전-언어-행동 모델

TMR-VLA:Vision-Language-Action Model for Magnetic Motion Control of Tri-leg Silicone-based Soft Robot

생체 내 환경에서 자기 구동 소형 로봇은 무선 작동 및 정밀 제어와 같은 장점을 제공하며, 통증 없는 검사 및 치료 절차에 대한 유망한 가능성을 보여줍니다. 본 연구에서는 다족 디자인을 통해 더욱 유연한 보행 및 다양한 동작 패턴을 가능하게 하는 삼족 자기 구동 소형 로봇(TMR)을 개발했습니다. 실리콘으로 제작된 재구성 가능한 소형 로봇의 경우, 이동 능력은 웅크리기, 회전, 다리 들어올리기, 걷기와 같은 순차적인 동작으로 나눌 수 있으며, 이러한 동작은 로봇의 굽힘 형태에 따라 달라집니다. 본 연구에서는 동작 유형 설명과 특정 저수준 전압 제어를 연결하기 위해, 다양한 하이브리드 동작을 수행할 수 있는 삼족 자기 구동 소형 로봇을 위한 통합 다중 모드 시스템인 TMR-VLA를 도입했습니다. TMR-VLA는 EndoVLA에서 파생된 내강 위치 추적 기능을 활용하며, 순차적인 프레임과 자연어 명령을 입력으로 사용합니다. 저수준 전압 출력은 현재 관찰된 상태와 특정 동작 유형 설명을 기반으로 생성됩니다. 실험 결과, TMR-VLA는 TMR에 적용되는 전압이 실리콘으로 제작된 소형 로봇의 동역학에 미치는 영향을 예측할 수 있음을 보여주었습니다. TMR-VLA는 평균 74%의 성공률을 달성했습니다.

In-vivo environments, magnetically actuated soft robots offer advantages such as wireless operation and precise control, showing promising potential for painless detection and therapeutic procedures. We developed a trileg magnetically driven soft robot (TMR) whose multi-legged design enables more flexible gaits and diverse motion patterns. For the silicone made of reconfigurable soft robots, its navigation ability can be separated into sequential motions, namely squatting, rotation, lifting a leg, walking and so on. Its motion and behavior depend on its bending shapes. To bridge motion type description and specific low-level voltage control, we introduced TMR-VLA, an end-to-end multi-modal system for a trileg magnetic soft robot capable of performing hybrid motion types, which is promising for developing a navigation ability by adapting its shape to language-constrained motion types. The TMR-VLA deploys embodied endoluminal localization ability from EndoVLA, and fuses sequential frames and natural language commands as input. Low-level voltage output is generated based on the current observation state and specific motion type description. The result shows the TMR-VLA can predict how the voltage applied to TMR will change the dynamics of a silicon-made soft robot. The TMR-VLA reached a 74% average success rate.