단백질 언어 모델의 자연어와의 차이점 분석 및 성능 향상: 비교 연구

Protein Language Models Diverge from Natural Language: Comparative Analysis and Improved Inference

최근 개발된 단백질 언어 모델(PLM)은 자연어 처리에서 사용되는 트랜스포머 기반 모델 구조를 생물학적 서열에 적용하여 다양한 단백질 기능 및 특성을 예측합니다. 그러나 단백질 언어는 20개의 아미노산으로 구성된 제한적인 어휘에도 불구하고 풍부한 기능적 공간을 가지고 있는 등 자연어와 중요한 차이점을 가지고 있습니다. 이러한 차이점은 트랜스포머 기반 구조가 단백질 영역에서 어떻게 다르게 작동하는지, 그리고 PLM을 어떻게 활용하여 단백질 관련 작업을 더 효과적으로 수행할 수 있는지에 대한 연구를 촉발합니다. 본 연구에서는 먼저 어텐션 헤드 레이어에 저장된 정보 분포가 단백질 영역과 자연어 영역에서 어떻게 다른지 직접 비교합니다. 또한, 자연어 영역에서 효율성을 높이기 위해 사용되었던 간단한 '얼리-엑싯' 기법을 적용하여, 모델이 PLM의 중간 레이어에서 특정 작업 및 단백질에 적합한 표현을 자동으로 선택하도록 하여 정확도를 향상시키고 효율성을 크게 개선했습니다. 실험 결과, 모델 및 비구조적 예측 작업 전반에 걸쳐 10% 이상의 효율성 향상과 함께 0.4~7.01% 포인트의 성능 향상을 달성했습니다. 본 연구는 언어 모델이 단백질 영역으로 이동할 때 행동이 어떻게 변화하는지 직접적으로 비교하는 연구 분야를 개척하고, 생물학적 영역에서의 언어 모델링 발전에 기여합니다.

Modern Protein Language Models (PLMs) apply transformer-based model architectures from natural language processing to biological sequences, predicting a variety of protein functions and properties. However, protein language has key differences from natural language, such as a rich functional space despite a vocabulary of only 20 amino acids. These differences motivate research into how transformer-based architectures operate differently in the protein domain and how we can better leverage PLMs to solve protein-related tasks. In this work, we begin by directly comparing how the distribution of information stored across layers of attention heads differs between the protein and natural language domain. Furthermore, we adapt a simple early-exit technique-originally used in the natural language domain to improve efficiency at the cost of performance-to achieve both increased accuracy and substantial efficiency gains in protein non-structural property prediction by allowing the model to automatically select protein representations from the intermediate layers of the PLMs for the specific task and protein at hand. We achieve performance gains ranging from 0.4 to 7.01 percentage points while simultaneously improving efficiency by over 10 percent across models and non-structural prediction tasks. Our work opens up an area of research directly comparing how language models change behavior when moved into the protein domain and advances language modeling in biological domains.