아이덴티티 브리지를 통한 자기회귀 언어 모델의 역전의 저주 타파

Breaking the Reversal Curse in Autoregressive Language Models via Identity Bridge

자기회귀 대형 언어 모델(LLM)은 많은 복잡한 작업에서 놀라운 성과를 거두었으나, '역전의 저주(reversal curse)'와 같은 매우 간단한 논리적 추론에서는 여전히 실패할 수 있습니다. 이는 모델이 "$A \rightarrow B$"(예: 앨리스의 남편은 밥) 형식의 순방향 지식 데이터로 훈련된 경우, 테스트 시 "$B \leftarrow A$"(예: 밥의 아내는 앨리스)라는 역방향 지식을 추론하지 못하는 현상입니다. 광범위한 선행 연구들은 이것이 자기회귀 인과적 LLM의 본질적이고 근본적인 한계이며, 모델이 고차원적 규칙을 포착하기보다는 사실적 수준의 지식을 암기하는 경향이 있음을 시사한다고 보았습니다. 본 논문에서는 "$A \to A$"(예: 앨리스의 이름은 앨리스) 형식의 '아이덴티티 브리지(Identity Bridge)'라는 간단한 정규화 데이터 레시피로 훈련 데이터를 약간 조정함으로써 이러한 근본적인 한계를 완화할 수 있음을 보여주며 기존 관점에 도전합니다. 이론적으로 우리는 경사 하강법의 암묵적 편향을 분석하여, 이 레시피를 적용할 경우 단일 레이어 트랜스포머조차 역전의 저주를 극복할 수 있음을 증명합니다. 실험적으로는 제안된 데이터 레시피로 미세 조정한 10억 파라미터(1B) 규모의 사전 훈련된 언어 모델이 역전 작업에서 40%의 성공률을 달성함을 보여줍니다. 이는 순방향 지식 데이터만으로 훈련했을 때 성공률이 거의 0%였던 것과 극명한 대조를 이룹니다. 본 연구는 역전의 저주에 대한 새로운 이론적 토대를 제공하고, LLM이 데이터에서 고차원적 규칙을 학습하도록 유도하는 원칙적이고 비용 효율적인 방안을 제시합니다.

Autoregressive large language models (LLMs) have achieved remarkable success in many complex tasks, yet they can still fail in very simple logical reasoning such as the "reversal curse" -- when trained on forward knowledge data of the form "$A \rightarrow B$" (e.g., Alice's husband is Bob), the model is unable to deduce the reversal knowledge "$B \leftarrow A$" (e.g., Bob's wife is Alice) during test. Extensive prior research suggests that this failure is an inherent, fundamental limit of autoregressive causal LLMs, indicating that these models tend to memorize factual-level knowledge rather than capture higher-level rules. In this paper, we challenge this view by showing that this seemingly fundamental limit can be mitigated by slightly tweaking the training data with a simple regularization data recipe called the Identity Bridge of the form "$A \to A$" (e.g., The name of Alice is Alice). Theoretically, we prove that under this recipe, even a one-layer transformer can break the reversal curse by analyzing the implicit bias of gradient descent. Empirically, we show that a 1B pretrained language model finetuned with the proposed data recipe achieves a 40% success rate on reversal tasks, in stark contrast to a near-zero success rate when trained solely on forward-knowledge data. Our work provides a novel theoretical foundation for the reversal curse and offers a principled, low-cost path to encouraging LLMs to learn higher-level rules from data.