ProtoAct: 실험실 프로토콜을 로봇이 실행 가능한 동작으로 변환하는 방법

ProtoAct: Turning Wet-Lab Protocols into Embodied Robotic Actions

생물학적 실험실 프로토콜은 숙련된 연구자를 대상으로 작성되며, 종종 반복적인 작업, 상태 의존 조건 및 문맥 정보를 명시적으로 포함하지 않아 로봇이 실행할 수 있는 동작으로 변환하기 어렵습니다. 본 논문에서는 자유 형식의 생물학적 절차를 상태 인지적이고 로봇에 적합한 동작 시퀀스로 변환하는 구조화된 프로토콜 기반 프레임워크인 ProtoAct을 제시합니다. ProtoAct은 ProtoRAG을 사용하여 문맥에 민감한 구문 분석을 위한 수동 주석 예제를 검색하고, RefineChecker를 사용하여 누락되거나 일관성이 없는 단계를 감지하고 수정하며, ActSchema를 적용하여 정제된 절차를 제약 조건이 있는 JSON 함수 시퀀스로 매핑합니다. 또한, 22개의 세포 배양 프로토콜을 수동으로 주석 처리하여 258개의 모니터링 조건, 910개의 실행 가능한 하위 작업 및 962개의 구체화된 동작 호출로 구성된 BioP2E 데이터셋을 소개합니다. 일곱 개의 대규모 언어 모델에 대한 평가 결과는 ProtoAct이 다양한 기반 구조와 함께 효과적으로 활용될 수 있음을 보여줍니다. 추가적인 실험을 통해 검색, 사후 검사 및 스키마 제약 조건이 상호 보완적인 기여를 한다는 것을 확인했습니다. 구문 분석된 하위 작업은 데모 데이터 수집 및 VLA 모델 훈련을 지원하며, 이를 통해 시뮬레이션 환경과 실제 로봇 환경 모두에서 성공적인 실행이 가능합니다. 따라서 ProtoAct은 생물학적 프로토콜 이해와 로봇 기반 실행 간의 실용적인 인터페이스를 제공합니다.

Biological wet-lab protocols are written for trained researchers and often leave routine operations, state-dependent conditions, and contextual parameters implicit, making them difficult to translate into robot-executable actions. We present ProtoAct, a structured protocol-grounding framework that converts free-form biological procedures into state-aware, embodiment-ready action sequences. ProtoAct uses ProtoRAG to retrieve manually annotated examples for context-sensitive parsing, employs RefineChecker to detect and revise missing or inconsistent steps, and applies ActSchema to map the refined procedure into constrained JSON function sequences. We further introduce BioP2E, for which we manually annotate 22 cell-culture protocols into 258 monitoring conditions, 910 executable subtasks, and 962 grounded action calls. Evaluation across seven large language models demonstrates that ProtoAct can be effectively instantiated with different backbones. Ablations confirm that retrieval, posterior checking, and schema constraints make complementary contributions. The parsed subtasks further support demonstration collection and VLA model training, enabling successful execution in both simulation and real-robot settings. ProtoAct thus provides a practical interface between biological protocol understanding and embodied robotic execution.