언어 모델은 상태 변화에 따라 개체를 추적할 수 있는가?

Do Language Models Track Entities Across State Changes?

개체 추적(ET)은 상태를 파악하는 능력으로, 복잡한 추론의 기본이 되는 중요한 기술입니다. 최근 연구들은 트랜스포머 기반 언어 모델(LM)이 상태 변화 없이 개체 결합 문제를 어떻게 해결하는지 탐구하고 있습니다. 하지만, 실제 자연어 환경에서 발생하는 현실적인 어려움을 가진 ET 문제에 대한 비-토이 LM들의 이해는 아직 부족합니다. 이에 본 연구에서는 여러 개의 상태 변경 작업을 포함하는 더욱 복잡한 시나리오에서 ET의 작동 원리를 조사했습니다. 분석 결과, LM들은 토큰 단위로 세계 상태를 점진적으로 추적하거나 레이어별로 관련 상태를 파악하지 못하고, 오히려 쿼리가 명확해지는 마지막 토큰 단계에서 관련된 정보를 병렬적으로 통합하는 것으로 나타났습니다. 또한, 개별 작업(PUT, REMOVE, MOVE)의 작동 방식을 분석하여 이러한 비-점진적인 ET 메커니즘을 규명했습니다. 놀랍게도, LM들은 'REMOVE' 작업을 수행하기 위해 취약한 전역 억제 태그를 사용하는데, 이는 다양한 실패 패턴으로 이어지는 것으로 확인되었습니다. 우리는 이러한 문제를 부분적으로 해결하기 위한 메커니즘적 해법을 제시합니다. 종합적으로 볼 때, 본 연구는 LM들이 근본적으로 순차적인 방식으로 설계된 작업을 비-순차적인 전략을 사용하여 해결한다는 것을 보여줍니다. 더 나아가, 본 연구는 행동 분석과 메커니즘 분석이 어떻게 상호 보완적으로 작용할 수 있는지 보여주는 사례입니다. 행동 결과는 메커니즘적 가설을 형성하는 데 도움이 되며, 메커니즘 분석에서 얻은 통찰력은 기존 평가에서 누락된 실패 모드를 예측하여 보다 강력한 행동 평가를 구축하는 데 기여합니다.

Entity tracking (ET), the ability to keep track of states, is a fundamental skill that underlies complex reasoning. An increasing amount of work investigates how transformer language models (LMs) solve entity binding $\textit{without}$ state changes. However, there is limited understanding of how non-toy LMs address ET problems of realistic difficulties expressed in natural language. To this end, we investigate the mechanisms underlying ET in more complex scenarios featuring multiple state-changing operations. We find that LMs do not incrementally track world states across tokens or query-relevant states across layers, but simply aggregate relevant information in parallel at the last token when the query becomes evident. We further investigate mechanisms of individual operations ($\texttt{PUT}$, $\texttt{REMOVE}$, $\texttt{MOVE}$) to characterize this non-incremental ET mechanism. Surprisingly, LMs implement the $\texttt{REMOVE}$ operation with a fragile global suppression tag; this global removal mechanism predicts various failure modes that we confirm behaviorally. We provide a mechanistic solution of nullifying this tag to partially address this issue. Overall, our findings reveal that LMs solve a fundamentally sequential task using a non-sequential strategy. More broadly, our work illustrates how behavioral and mechanistic analyses can fruitfully interact. Behavioral results inform mechanistic hypotheses, and insights from mechanistic analyses help build stronger behavioral evaluations by predicting failure modes missing from existing evaluations.