강건한 일반화 성능을 위한 적응적 모델링 연구

A Study of Adaptive Modeling Towards Robust Generalization

대규모 언어 모델(LLM)은 생체 분자 구조에 대한 추론 기능을 점점 더 많이 제공하지만, 대부분의 기존 접근 방식은 여전히 모달리티에 특화되어 있으며, 구조적 입력에 대해 서열 기반 인코딩 또는 고정 길이 연결 토큰에 의존합니다. 이러한 설계는 명시적인 기하학적 단서를 제대로 반영하지 못하고, 구조적 복잡성이 증가함에 따라 엄격한 통합 병목 현상을 초래하여 과도한 압축과 비효율적인 토큰 할당 문제를 일으킬 수 있습니다. 본 연구에서는 언어 추론을 기하학적 정보에 기반하도록 하고, 구조적 토큰을 적응적으로 확장하는 통합된 모든 원자 프레임워크를 제시합니다. 제안된 방법은 먼저 지침 기반 게이팅 정책을 사용하여 분자 그래프에서 가변 크기의 구조적 패치를 구성함으로써, 복잡성을 고려한 쿼리 토큰 할당을 가능하게 합니다. 그런 다음, 생성된 패치 토큰을 모달리티 임베딩과의 크로스 어텐션을 통해 개선하고, 기하학적 정보를 포함하는 토큰을 언어 모델에 주입하여 구조적 기반 추론을 강화하고 구조적 환각 현상을 줄입니다. 다양한 모든 원자 벤치마크에서, 제안된 방법은 다양한 구조 기반 추론 작업에서 일관된 성능 향상을 보여줍니다. 익명화된 구현은 추가 자료에 제공됩니다.

Large language models (LLMs) increasingly support reasoning over biomolecular structures, but most existing approaches remain modality-specific and rely on either sequence-style encodings or fixed-length connector tokens for structural inputs. These designs can under-expose explicit geometric cues and impose rigid fusion bottlenecks, leading to over-compression and poor token allocation as structural complexity grows. We present a unified all-atom framework that grounds language reasoning in geometric information while adaptively scaling structural tokens. The method first constructs variable-size structural patches on molecular graphs using an instruction-conditioned gating policy, enabling complexity-aware allocation of query tokens. It then refines the resulting patch tokens via cross-attention with modality embeddings and injects geometry-informed tokens into the language model to improve structure grounding and reduce structural hallucinations. Across diverse all-atom benchmarks, the proposed approach yields consistent gains in heterogeneous structure-grounded reasoning. An anonymized implementation is provided in the supplementary material.