뇌 인코딩 과정에서 언어 모델의 규모와 언어적 특성: 소규모 모델부터 압축된 언어 모델까지

Linguistic properties and model scale in brain encoding: from small to compressed language models

최근 연구에 따르면, 대규모 언어 모델(LLM)의 규모를 확장하면 인간의 뇌 활동과의 일치성이 향상되는 것으로 나타났지만, 이러한 개선의 원인과 어떤 표현적 특성이 이러한 결과를 이끌어내는지는 여전히 불분명합니다. 일반적으로 더 큰 모델이 더 나은 성능과 뇌 일치성을 제공하지만, 이러한 모델의 작동 방식을 메커니즘적으로 분석하기는 점점 더 어려워지고 있습니다. 이는 다음과 같은 근본적인 질문을 제기합니다. 뇌와 관련된 표현을 포착하는 데 필요한 최소 모델 용량은 얼마입니까? 이 질문에 답하기 위해, 모델의 규모와 수치 정밀도를 제한하는 것이 뇌 일치성에 어떤 영향을 미치는지 체계적으로 조사했습니다. 우리는 자연스러운 언어 이해 과정에서 fMRI 반응을 예측하는 방식으로, 정밀도가 높은 LLM, 소규모 언어 모델(SLM), 그리고 압축된 모델(양자화 및 가지치기)을 비교했습니다. 최대 140억 개의 파라미터를 가진 다양한 모델들을 분석한 결과, 30억 개의 파라미터를 가진 SLM은 더 큰 LLM과 거의 동일한 수준의 뇌 예측력을 보이는 반면, 10억 개의 파라미터 모델은 성능이 크게 저하되는 경향이 있으며, 특히 의미 언어 처리 영역에서 두드러집니다. 뇌 일치성은 압축에 대해 놀라울 정도로 강건한 특성을 보입니다. 대부분의 양자화 및 가지치기 방법은 신경 예측력을 유지하지만, GPTQ는 예외적인 경우입니다. 언어적 탐색 분석 결과, 작업 성능과 뇌 일치성 사이에는 분리가 존재합니다. 압축은 담화, 구문, 형태소 등의 언어적 측면을 저하시키지만, 뇌 일치성은 대체로 큰 영향을 받지 않습니다. 전반적으로, 뇌 일치성은 비교적 작은 모델 규모에서 최고 수준에 도달하며, 압축에도 강건한 특성을 보입니다. 이러한 결과는 신경 척도에 대한 일반적인 가정에 도전하며, 뇌 일치성을 갖는 언어 모델을 개발하기 위한 소규모 모델의 가능성을 제시합니다.

Recent work has shown that scaling large language models (LLMs) improves their alignment with human brain activity, yet it remains unclear what drives these gains and which representational properties are responsible. Although larger models often yield better task performance and brain alignment, they are increasingly difficult to analyze mechanistically. This raises a fundamental question: what is the minimal model capacity required to capture brain-relevant representations? To address this question, we systematically investigate how constraining model scale and numerical precision affects brain alignment. We compare full-precision LLMs, small language models (SLMs), and compressed variants (quantized and pruned) by predicting fMRI responses during naturalistic language comprehension. Across model families up to 14B parameters, we find that 3B SLMs achieve brain predictivity indistinguishable from larger LLMs, whereas 1B models degrade substantially, particularly in semantic language regions. Brain alignment is remarkably robust to compression: most quantization and pruning methods preserve neural predictivity, with GPTQ as a consistent exception. Linguistic probing reveals a dissociation between task performance and brain predictivity: compression degrades discourse, syntax, and morphology, yet brain predictivity remains largely unchanged. Overall, brain alignment saturates at modest model scales and is resilient to compression, challenging common assumptions about neural scaling and motivating compact models for brain-aligned language modeling.