어텐션과 학습 역학을 통한 마스킹된 확산 모델의 역전의 저주 완화 이해

Understanding the Reversal Curse Mitigation in Masked Diffusion Models through Attention and Training Dynamics

자기회귀 언어 모델(ARM)은 역전의 저주를 겪는데, 이는 '$A$는 $B$이다'를 학습한 후 종종 역방향 질문인 '$B$는 $A$이다'에 실패하는 현상입니다. 마스킹된 확산 기반 언어 모델(MDM)은 이러한 실패를 훨씬 약한 형태로 보이지만, 그 근본적인 이유는 여전히 불분명했습니다. 일반적인 설명은 이러한 완화의 원인을 임의 순서(any-order) 학습 목표 때문이라고 봅니다. 그러나 학습 중에 '[MASK]는 $B$이다'를 관찰한다고 해서 모델이 역방향 프롬프트인 '$B$는 [MASK]이다'를 처리하는 법을 반드시 배우는 것은 아닙니다. 우리는 이러한 완화가 아키텍처 구조와 학습 간의 상호작용에서 비롯됨을 보입니다. 단일 계층 트랜스포머 인코더에서 가중치 공유는 정방향 및 역방향 어텐션 점수를 양의 상관관계로 만들어 두 방향을 결합합니다. 동일한 설정에서 우리는 해당 그라디언트가 정렬되어 있어 정방향 손실을 최소화하면 역방향 손실도 감소함을 추가로 보입니다. 통제된 토이 태스크와 대규모 확산 언어 모델 모두에서의 실험은 이러한 메커니즘을 뒷받침하며, 강력한 ARM에서도 지속되는 실패 모드를 MDM이 부분적으로 극복하는 이유를 설명해 줍니다.

Autoregressive language models (ARMs) suffer from the reversal curse: after learning that "$A$ is $B$", they often fail on the reverse query "$B$ is $A$". Masked diffusion-based language models (MDMs) exhibit this failure in a much weaker form, but the underlying reason has remained unclear. A common explanation attributes this mitigation to the any-order training objective. However, observing "[MASK] is $B$" during training does not necessarily teach the model to handle the reverse prompt "$B$ is [MASK]". We show that the mitigation arises from architectural structure and its interaction with training. In a one-layer Transformer encoder, weight sharing couples the two directions by making forward and reverse attention scores positively correlated. In the same setting, we further show that the corresponding gradients are aligned, so minimizing the forward loss also reduces the reverse loss. Experiments on both controlled toy tasks and large-scale diffusion language models support these mechanisms, explaining why MDMs partially overcome a failure mode that persists in strong ARMs.