CrystalReasoner: 추론 및 강화 학습을 이용한 속성 기반 결정 구조 생성

CrystalReasoner: Reasoning and RL for Property-Conditioned Crystal Structure Generation

생성 모델은 결정 구조 발견에 있어 유망한 접근 방식으로 부상하고 있습니다. 그러나 기존의 LLM 기반 생성 모델은 낮은 수준의 원자 정밀도에서 어려움을 겪고, 확산 기반 방법은 고수준의 과학적 지식을 통합하는 데 한계가 있습니다. 그 결과, 생성된 구조는 종종 유효하지 않거나 불안정하며, 원하는 특성을 갖지 못하는 경우가 많습니다. 이러한 문제를 해결하기 위해, 우리는 자연어 지시사항을 기반으로 추론 및 정렬을 통해 결정 구조를 생성하는 통합 LLM 프레임워크인 CrystalReasoner(egin{CJK}{CJK}{UTF8}{mj}方法 ight})을 제안합니다. egin{CJK}{UTF8}{mj}方法 ight}은 원자 좌표를 생성하기 전에 결정학적 대칭, 국소 배위 환경 및 예측된 물리적 특성을 포함하는 물리적 사전 지식을 '사고 토큰'으로 도입하여 자연어와 3D 구조 간의 격차를 해소합니다. 또한, egin{CJK}{UTF8}{mj}方法 ight}은 다중 목표, 밀집 보상 함수를 사용하는 강화 학습(RL)을 활용하여 생성 결과를 물리적 유효성, 화학적 일관성 및 열역학적 안정성에 맞춥니다. 속성 기반 작업의 경우, 작업별 보상 함수를 설계하고 이산적 제약 조건(예: 공간군) 및 연속적 특성(예: 탄성, 열팽창)에 대한 전문 모델을 훈련합니다. 실험 결과는 egin{CJK}{UTF8}{mj}方法 ight}이 기존 연구 및 사고 추적 또는 RL을 사용하지 않는 기준 모델보다 다양한 지표에서 더 나은 성능을 보이며, S.U.N. 비율을 개선하고, 속성 기반 생성에서 더 나은 성능을 달성한다는 것을 보여줍니다. 또한, egin{CJK}{UTF8}{mj}方法 ight}은 원자 수가 증가함에 따라 추론 길이를 조정하는 적응적 추론 기능을 갖습니다. 본 연구는 유효하고 안정적이며 속성을 갖춘 결정 구조를 생성하는 데 사고 추적 및 강화 학습을 활용할 수 있는 가능성을 보여줍니다. 자세한 내용은 https://crystalreasoner.github.io/ 를 참조하십시오.

Generative modeling has emerged as a promising approach for crystal structure discovery. However, existing LLM-based generative models struggle with low-level atomic precision, while diffusion-based methods fall short in integrating high-level scientific knowledge. As a result, generated structures are often invalid, unstable, or do not possess desirable properties. To address this gap, we propose CrystalReasoner (\method), an end-to-end LLM framework that generates crystal structures from natural language instructions through reasoning and alignment. \method introduces physical priors as thinking tokens, which include crystallographic symmetry, local coordination environments and predicted physical properties before generating atomic coordinates. This bridges the gap between natural language and 3D structures. \method then employs reinforcement learning (RL) with a multi-objective, dense reward function to align generation with physical validity, chemical consistency, and thermodynamic stability. For property-conditioned tasks, we design task-specific reward functions and train specialized models for discrete constraints (e.g., space group) and continuous properties (e.g., elasticity, thermal expansion). Empirical results demonstrate that compared to prior works and baselines without thinking traces or RL, \method obtains better performance on diverse metrics, triples S.U.N. ratio, and achieves better performance for property conditioned generation. \method also exhibits adaptive reasoning, increasing reasoning lengths as the number of atoms increases. Our work demonstrates the potential of leveraging thinking traces and RL for generating valid, stable, and property-conditioned crystal structures. Please see our work at https://crystalreasoner.github.io/ .