MOF-Sleuth: 도구 기반 보상 정렬을 통한 설명 가능한 세부 수준의 MOF CIF 감사

MOF-Sleuth: Tool-Grounded Reward Alignment for Explainable Fine-Grained MOF CIF Auditing

대규모 금속 유기 골격(MOF) 데이터베이스는 결정학 정보 파일(CIF)을 통해 시뮬레이션, 스크리닝 및 머신러닝을 지원합니다. 이러한 입력값에 존재하는 미묘한 화학적 및 구조적 오류는 후속 결과를 저해하고 수동 검사를 어렵게 만들 수 있습니다. 계산 화학 분야의 LLM 기술 발전은 예측 스크리닝을 넘어 증거 기반 설명을 통해 세부적인 진단으로 이어지는 방법을 제시합니다. 그러나 두 가지 과제가 남아있습니다: (i) 제한된 세부 수준의 설명력: MOF 특정 검증기 및 머신러닝 모델은 감지 능력을 향상시키지만, 고정된 점검 항목, 준비 상태 점수 또는 거친 레이블을 제공할 뿐이며 증거 기반 설명을 제공하지 않습니다. (ii) 신뢰성 없는 CIF 추론: 직접적인 LLM 감사 시스템은 화학적 증거가 원자 위치 레코드에 암묵적으로 존재하며 기하학적, 연결성, 점유율 및 전하 계산이 필요하기 때문에 비용이 많이 들고 신뢰성이 낮습니다. 이러한 문제는 화학적 증거와 언어 모델 설명 간의 약한 결합에서 비롯됩니다. 본 연구에서는 강화 학습 기반의 CIF 감사 에이전트인 MOF-Sleuth를 소개합니다. MOF-Sleuth는 두 가지 모듈로 구성되어 있습니다: 결정적인 법과학 실험실(Forensic Lab)과 추론 엔진(Sleuth). 법과학 실험실은 조성, 기하학, 연결성, 점유율, 배위 및 전하에 대한 증거를 추출하고, Sleuth는 이 증거를 사용하여 증거 기반 설명을 생성하며 오류 유형과 이진 결정을 내립니다. 보상 기반 강화 학습(RL)을 통해 도구 측정값을 화학적 설명 수준의 지도 학습 신호로 변환하여 최종 답변뿐만 아니라 인용된 화학적 증거 및 증거 기반 진단을 보상합니다. Chemically Grounded Diagnosis (Chem-GD)라는 새로운 지표를 도입하여, 올바른 진단이 사실에 근거하고 관련 있는 CIF에서 파생된 증거에 의해 설명되는지 평가합니다. 네 가지 벤치마크 테스트에서 MOF-Sleuth는 LLM 기반 접근 방식 및 MOF 특정 머신러닝 방법 중에서 최첨단 성능을 달성했으며, 감지 능력, 설명력 및 근거 있는 설명 품질 측면에서 향상된 결과를 보여줍니다.

Large metal-organic framework (MOF) databases support simulation, screening, and machine learning through crystallographic information files (CIFs). Subtle chemical and structural errors in these inputs can compromise downstream results and hinder manual inspection. LLM advances in computational chemistry offer paths beyond predictive screening toward fine-grained diagnosis with evidence-grounded explanations. However, two challenges remain: (i) limited fine-grained attribution: MOF-specific validators and machine-learning models scale detection but provide fixed checks, readiness scores, or coarse labels rather than evidence-grounded explanations; and (ii) unreliable CIF reasoning: direct LLM auditing is costly and unreliable because chemical evidence is implicit across atom-site records and requires geometric, connectivity, occupancy, and charge calculations. Both stem from weak coupling between chemical evidence and language-model explanation. We introduce MOF-Sleuth, a reinforcement-guided CIF auditing agent with two modules: a deterministic Forensic Lab and a Sleuth reasoning engine. The Lab derives composition, geometry, connectivity, occupancy, coordination, and charge evidence, and Sleuth uses this evidence to produce an evidence-grounded explanation, error types, and a binary decision. Reward-guided reinforcement learning (RL) turns tool measurements into chemical explanation-level supervision, rewarding not only the final answer but also cited chemical evidence and evidence-supported diagnoses. We introduce Chemically Grounded Diagnosis (Chem-GD), a metric that assesses whether a correct diagnosis is explained by factual, relevant CIF-derived evidence. Across four benchmarks, MOF-Sleuth establishes state-of-the-art performance among LLM-based approaches and MOF-specific machine-learning methods, demonstrating gains in detection, attribution, and grounded explanation quality.