분자 언어 모델에 로컬 n-gram 메모리 추가

Augmenting Molecular Language Models with Local $n$-gram Memory

SMILES 문자열을 위한 트랜스포머 기반 언어 모델은 지역성 간극(locality gap) 문제를 가지고 있습니다. 표준적인 문자 수준 토큰화는 화학적으로 의미 있는 모티프를 분리시켜, 모델이 장거리 의존성을 희생하면서 반복적으로 로컬 구문 규칙을 학습하도록 강제합니다. 이러한 문제를 해결하기 위해, 기존 토크나이저에 영향을 주지 않으면서 조건부 n-gram 메모리 모듈인 MolGram을 제안합니다. MolGram은 확장 가능한 해시 검색을 통해 로컬 문자열 패턴을 학습된 임베딩으로 매핑하고, 이 지역적 컨텍스트를 동적으로 은닉 상태(hidden states)에 주입합니다. 무조건적인 분자 생성, 순방향 반응 예측 및 단일 단계 역합성 등 세 가지 작업에서의 평가 결과, MolGram은 일관되게 성능을 향상시켰습니다. 특히, 분석 결과는 MolGram이 3배 더 많은 파라미터를 사용하면서도 기존 모델보다 우수한 성능을 보이며, 명시적인 로컬 패턴 메모리가 매우 효율적인 유도 편향(inductive bias)임을 보여줍니다.

Transformer-based language models for SMILES strings suffer from a locality gap: standard character-level tokenization fragments chemically meaningful motifs, forcing models to repeatedly learn local syntax at the expense of long-range dependencies. To address this without disrupting standard tokenizers, we propose MolGram, which integrates a conditional $n$-gram memory module into molecular language models. MolGram maps local string patterns to learned embeddings via scalable hash lookups and dynamically injects this regional context into hidden states. Evaluations across three tasks, including unconditional molecule generation, forward reaction prediction, and single-step retrosynthesis, show that MolGram consistently improves performance. Crucially, our analyses demonstrate that MolGram outperforms baselines with 3$\times$ more parameters, establishing explicit local pattern memory as a highly efficient inductive bias.