GenCircuit-RL: 계층적 검증을 통한 강화 학습 기반 유전자 회로 설계

GenCircuit-RL: Reinforcement Learning from Hierarchical Verification for Genetic Circuit Design

합성 생물학 분야의 수십 년 발전에도 불구하고, 유전자 회로 설계는 여전히 많은 노동력과 전문 지식을 필요로 하는 작업입니다. 본 연구에서는 코드 생성 방식을 통해 이 문제를 해결하고자 합니다. 모델은 Synthetic Biology Open Language (SBOL)라는 형식적인 표현 방식을 사용하여 유전자 회로를 구성하는 Python 코드를 생성하며, 이를 통해 자동 검증을 지원합니다. 우리는 GenCircuit-RL이라는 강화 학습 프레임워크를 제안합니다. 이 프레임워크는 계층적 검증 보상을 활용하여 정확성을 코드 실행부터 특정 작업과 관련된 토폴로지 검사까지 5단계로 분해하고, 4단계의 교육 과정을 통해 최적화 압력을 코드 생성에서 기능적 추론으로 전환합니다. 또한, SynBio-Reason이라는 벤치마크를 소개합니다. 이 벤치마크는 6가지 대표적인 회로 유형과 코드 수정부터 새로운 설계까지 9가지 작업을 포함하는 4,753개의 회로로 구성되어 있으며, 일반화 성능 평가를 위해 일부 생물학적 구성 요소는 별도로 보관합니다. 계층적 검증은 이진 보상 방식에 비해 기능적 추론 작업의 성공률을 14~16%p 향상시킵니다. 또한, 우수한 설계 성능을 위해서는 교육 과정 학습이 필수적입니다. 결과적으로, 생성된 모델은 토폴로지적으로 올바른 회로를 생성하고, 새로운 생물학적 구성 요소에 대한 일반화 능력을 보이며, 합성 생물학 문헌에 등장하는 대표적인 회로 설계를 재발견합니다.

Genetic circuit design remains a laborious, expert-driven process despite decades of progress in synthetic biology. We study this problem through code generation: models produce Python code in pysbol3 to construct genetic circuits in the Synthetic Biology Open Language (SBOL), a formal representation that supports automated verification. We introduce GenCircuit-RL, a reinforcement learning framework built around hierarchical verification rewards that decompose correctness into five levels, from code execution to task-specific topological checks, and a four-stage curriculum that shifts optimization pressure from code generation to functional reasoning. We also introduce SynBio-Reason, a benchmark of 4,753 circuits spanning six canonical circuit types and nine tasks from code repair to de novo design, with held-out biological parts for out-of-distribution evaluation. Hierarchical verification improves task success on functional reasoning tasks by 14 to 16 percentage points over binary rewards, and curriculum learning is required for strong design performance. The resulting models generate topologically correct circuits, generalize to novel biological parts, and rediscover canonical designs from the synthetic biology literature.