MarkushGlyph 및 OCSRGlyph: 향상된 화학 구조 인식

MarkushGlyph and OCSRGlyph: Improved Chemical Structure Recognition

화학 구조는 특허 문서와 과학 논문에서 이미지 형태로 나타납니다. 데이터베이스 색인 구축이나 머신러닝 모델 학습 데이터 생성과 같은 프로그램적 활용을 위해서는 이러한 이미지를 선형 표기 방식으로 변환해야 합니다. 이 작업의 주요 두 가지 형태는 단일 분자의 이미지를 해석하는 것 (광학 화학 구조 인식 - OCSR)과 분자 그룹을 나타내는 Markush 구조를 해석하는 것입니다. 이전 연구에서 OCSR은 상당한 발전을 이루었지만, Markush 구조 파싱은 여전히 어려운 과제입니다. 본 연구에서는 두 가지 작업을 이미지-텍스트 변환 문제로 간주합니다. 먼저 최첨단 OCSR 모델인 OCSRGlyph를 제안하여, 입체 화학적 요소를 신중하게 고려함으로써 기존 방법보다 성능을 향상시켰습니다. Markush 작업의 경우, 전체 Markush 구조를 이미지로 인식하는 시각-언어 모델인 MarkushGlyph를 소개합니다. 이는 이전 시스템과는 달리, 시각 정보와 텍스트 정보를 별도로 처리하는 다단계 방식을 사용하지 않습니다. 마지막으로, 기존 평가 지표에서 나타나는 문제점을 해결하고 Markush 구조 변환의 정확도를 측정하기 위한 새로운 지표를 제시합니다.

Chemical structures appear in patents and the scientific literature as images. For programmatic usage, such as indexing in databases or constructing machine learning model training sets, they must be transformed into line notations. The two common forms of this task are translating an image of a single molecule (optical chemical structure recognition - OCSR) and translating a Markush structure that represents a family of molecules. While prior work in the former case is quite mature, Markush structure parsing remains a challenging task. In this work, we treat both tasks as an image-to-text translation problem. We then propose OCSRGlyph, a state-of-the-art OCSR model, improving performance over prior methods by carefully considering stereochemistry. For the Markush task, we introduce MarkushGlyph, a vision-language model that reads the entire Markush structure as an image. This contrasts with prior systems, which often use multiple stages to separately process visual and text input content. Finally, we introduce a new metric for determining the accuracy of Markush structure translations, handling failure modes present in prior metrics.