생물학 문헌을 활용한 추론 기반 강화 학습 훈련 데이터 생성: BioAlchemy

BioAlchemy: Distilling Biological Literature into Reasoning-Ready Reinforcement Learning Training Data

방대한 양의 생물학 관련 훈련 텍스트가 존재함에도 불구하고, 추론 모델이 생물학 연구에 미치는 영향은 수학 및 코딩 분야에 비해 상대적으로 뒤쳐지는 경향이 있습니다. 본 연구에서는 현재의 대규모 추론 데이터셋에 포함된 생물학 관련 질문들이 현대적인 생물학 연구 주제 분포와 일치하지 않으며, 이러한 주제 불균형이 성능에 부정적인 영향을 미칠 수 있다는 것을 보여줍니다. 또한, 생물학 연구 텍스트에서 도전적이고 검증 가능한 연구 문제를 추출하는 방법은 강화 학습을 활용하여 생물학 연구 과제에서 더 나은 성능을 달성하는 데 중요한 역할을 하지만, 아직 개발이 미흡하다는 것을 확인했습니다. 본 연구에서는 과학적 생물학 연구 텍스트에서 다양한 검증 가능한 질문-답변 쌍을 수집하는 파이프라인인 BioAlchemy를 소개합니다. BioAlchemy-345K라는 345,000개 이상의 생물학 관련 추론 문제를 포함하는 훈련 데이터셋을 구축했습니다. 또한, 현대적인 생물학 연구 주제 분포에 맞춰 데이터셋을 구성하고, 이를 강화 학습과 함께 사용하여 추론 성능을 향상시키는 방법을 보여줍니다. 마지막으로, 기준 모델보다 생물학 관련 벤치마크에서 9.12% 향상된 성능을 보이는 BioAlchemist-8B 모델을 제시합니다. 이러한 결과는 생물학 분야에서 더 강력한 과학적 추론 능력을 개발하는 데 있어 본 연구의 접근 방식이 효과적임을 입증합니다. BioAlchemist-8B 모델은 다음 주소에서 이용할 수 있습니다: https://huggingface.co/BioAlchemy.

Despite the large corpus of biology training text, the impact of reasoning models on biological research generally lags behind math and coding. In this work, we show that biology questions from current large-scale reasoning datasets do not align well with modern research topic distributions in biology, and that this topic imbalance may negatively affect performance. In addition, we find that methods for extracting challenging and verifiable research problems from biology research text are a critical yet underdeveloped ingredient in applying reinforcement learning for better performance on biology research tasks. We introduce BioAlchemy, a pipeline for sourcing a diverse set of verifiable question-and-answer pairs from a scientific corpus of biology research text. We curate BioAlchemy-345K, a training dataset containing over 345K scientific reasoning problems in biology. Then, we demonstrate how aligning our dataset to the topic distribution of modern scientific biology can be used with reinforcement learning to improve reasoning performance. Finally, we present BioAlchemist-8B, which improves over its base reasoning model by 9.12% on biology benchmarks. These results demonstrate the efficacy of our approach for developing stronger scientific reasoning capabilities in biology. The BioAlchemist-8B model is available at: https://huggingface.co/BioAlchemy.