보이지 않는 것을 보는 것: 심볼릭 추론에서의 트랜스포머의 일반화 능력에 대한 연구

To See the Unseen: on the Generalization Ability of Transformers in Symbolic Reasoning

본 논문에서는 디코더 전용 트랜스포머 모델이 주어진 맥락 내에서 추상적인 심볼릭 추론을 수행하는 능력을 조사합니다. 기존 연구에서 모델들이 훈련 과정에서 관찰되지 않은 변수 이름을 포함하는 문제에 대해 일반화하지 못한다는 것이 밝혀졌으며, 그 원인 중 하나는 아직 보지 못한 토큰을 복사하거나 생성하는 데 어려움이 있기 때문입니다. 본 논문에서는 이론적 및 실험적으로 특정 유형의 표현 붕괴 현상이 중요한 역할을 한다는 것을 보여줍니다. 즉, 훈련 과정에서 관찰되지 않은 토큰의 임베딩(마지막 레이어 가중치)이 거의 동일한 벡터로 수렴하는 현상입니다. 이러한 붕괴 현상은 모델이 여러 개의 관찰되지 않은 변수를 구별하기 어렵게 만들며, 특히 임베딩 및 비임베딩 파라미터가 공유될 때 더욱 그렇습니다. 이는 "적극적인 망각(active forgetting)"과 같이 주기적으로 토큰의 (비)임베딩을 재설정하는 기존의 휴리스틱 방법이 효과적인 이유에 대한 메커니즘적 설명을 제공합니다. 이러한 관찰 결과를 바탕으로, 본 논문에서는 복사를 용이하게 하는 작은 아키텍처 변경, 데이터 다양성 확보, 그리고 (비)임베딩을 고정하거나 재설정하는 방법을 결합하여 관찰되지 않은 토큰에 대한 일반화를 달성하는 방안을 제시합니다. 이러한 주장은 명제 논리 추론 문제에 대한 광범위한 통제 실험을 통해 뒷받침됩니다. 합성적인 실험 외에도, 본 연구에서는 Gemma 3 패밀리에 속하는 공개 가중치 모델에서도 (비)임베딩 붕괴 현상의 증거를 발견했습니다. 또한, 이러한 토큰들의 상관 관계가 있는 임베딩은 파인튜닝 애플리케이션에 대한 초기화 값으로 부적합하다는 것을 실험적으로 확인했습니다.

We investigate the ability of decoder-only transformer models to perform abstract symbolic reasoning; specifically solving propositional logic reasoning problems given in-context. Previous work demonstrated that models fail to generalize to problems involving variable names that were not observed during training, and it was shown that one reason behind this is the difficulty of copying (or generating) unseen tokens. We show both theoretically and empirically that a particular representational collapse also has a crucial role: the unembeddings (last-layer weights) of unseen tokens collapse to nearly the same vector during training. The collapse makes distinguishing multiple unseen variables difficult for the model (especially when the embedding and unembedding parameters are shared), and provides a mechanistic explanation for the effectiveness of existing heuristic interventions like "active forgetting", which periodically reset the token (un)embeddings. Based on these observations, we devise a combination of techniques, involving a small architecture change facilitating copying, data diversity, and freezing or resetting (un)embeddings, that achieves generalization to unseen tokens. We support our claims with extensive controlled experiments on propositional logic reasoning problems. Beyond synthetic experiments, we also observe evidence of (un)embedding collapse in the open-weight models in the Gemma 3 family, which includes 99 unused tokens reserved for downstream use. Empirically we find that the correlated embeddings of these tokens are a poor initialization for finetuning applications.