SupraBench: 초분자 화학을 위한 벤치마크

SupraBench: A Benchmark for Supramolecular Chemistry

초분자 화학은 비공유 호스트-게스트 결합 연구를 포함하며, 다양한 응용 분야 발전에 기여해 왔습니다. 그러나 호스트-게스트 시스템 설계는 여전히 시간 소모적인 과정이며, 각 후보 쌍에 대해 수일의 실험적 검증이 필요합니다. 최근 대규모 언어 모델(LLM)은 분자 결합 작업에서 뛰어난 성능을 보이는 빠른 대체 방안으로 등장했지만, 현재까지 호스트-게스트 추론 능력을 초분자 화학의 기본적인 작업, 예를 들어 결합 친화력 예측 측면에서 체계적으로 평가하는 벤치마크는 존재하지 않습니다. 이에 따라, 우리는 도메인 전문가들과 협력하여 LLM을 초분자 화학 추론에 활용하기 위한 첫 번째 초분자 벤치마크, 즉 SupraBench를 개발했습니다. 구체적으로, 결합 친화력 예측, 최적의 결합 물질 선택, 용매 식별, 호스트-게스트 설명이라는 네 가지 기본적인 작업을 설계했으며, 분자 식별을 위한 시각 기반 추가 작업도 포함했습니다. 또한, Europe PMC에서 추출한 초분자 화학 관련 논문으로 구성된 1600만 토큰 규모의 데이터셋인 SupraPMC를 제공하여 해당 분야에 LLM을 적용하는 데 도움을 주고자 합니다. 다양한 공개 및 독점 LLM을 사용하여 성능을 평가한 결과, 모든 작업에서 LLM이 상당한 개선 여지를 가지고 있음을 확인했습니다. SupraPMC를 활용한 도메인 적응 사전 학습은 데이터 분포 내 회귀 분석에 효과적이지만, 엄격한 문자 형식의 출력과는 상충되는 경향이 있습니다. 또한, 작업 유형별로 난이도 프로필이 크게 다르며, 이는 현재 초분자 화학 추론에서 나타나는 특정 문제점을 보여줍니다. 저희의 소스 코드 및 벤치마크 데이터셋은 https://github.com/Tianyi-Billy-Ma/SupraBench 에서 확인할 수 있습니다.

Supramolecular chemistry, which includes the study of non-covalent host-guest assemblies, has advanced various applications. However, designing host-guest systems remains time-consuming, requiring days of dry-lab verification per candidate pair. Although LLMs have emerged as a fast alternative with strong performance on molecular binding tasks, no benchmark currently systematically evaluates LLMs for host-guest reasoning across fundamental supramolecular chemistry tasks, e.g., binding affinity prediction. To this end, we collaborate with domain experts to release the first Supramolecular Benchmark, called SupraBench, to evaluate LLMs in chemistry reasoning. Specifically, we design four fundamental tasks, i.e., binding affinity prediction, top-binder selection, solvent identification, and host-guest description, plus an auxiliary vision-based task for molecular identification. We also release SupraPMC, a curated 16M-token corpus of Supramolecular chemistry articles distilled from Europe PMC, to support the adaptation to the supramolecular domain. We benchmark a broad range of open and proprietary LLMs and find that LLMs leave substantial headroom across all tasks. Domain adaptation pretraining over SupraPMC transfers cleanly to in-distribution regression but trades off against strict letter-format output. Moreover, the difficulty profile differs sharply across task families, revealing distinct failure modes that indicate specific gaps in current supramolecular chemistry reasoning. Our source codes and benchmark datasets are available at https://github.com/Tianyi-Billy-Ma/SupraBench.