인터페이스에서 추론으로: 모든 순서의 모델로부터 모든 순서의 추론 도출

From Interface to Inference: Eliciting Any-Order Inference from Any-Order Models

코드 생성과 같은 많은 이산적 추론 작업은 본질적으로 비인과적입니다. 프로그래머는 고수준 구조와 로컬 세부 정보 사이를 이동하며, 우리는 이러한 과정을 '모든 순서의 추론'이라고 부릅니다. 자기 회귀 언어 모델은 기본적으로 모든 순서 인터페이스를 제공하지 않으므로, 인필링(infilling) 및 다음 편집 예측과 같은 비인과적 능력은 수동으로 설계된 메커니즘이 필요합니다. 우리는 모든 순서의 추론을 자연스럽게 지원하는 모델을 설계할 수 있을까요? 최근에는 마스크 기반 확산 모델이 매력적인 후보로 부상했습니다. 왜냐하면 그들의 모든 순서 학습 목표는 자연스럽게 모든 순서 예측 인터페이스를 제공하기 때문입니다. 그러나 이 인터페이스가 자동으로 모든 순서의 추론을 가능하게 하는 것은 아닙니다. 우리는 이러한 인터페이스-추론 격차가 위치 불확실성에서 비롯된다는 것을 보여줍니다. 고정된 캔버스와 토큰 수준 모델은 어떤 의미적 구성 요소가 나타나야 하는지 알 수 있지만, 어디에 배치해야 할지는 모를 수 있습니다. 이에 따라, 우리는 두 가지 상호 보완적인 접근 방식을 제안합니다. (1) 삽입 기반 마스크 확산: FlexMDM(Kim et al., 2025)을 기반으로 하여, 삽입을 통해 고정된 위치에 대한 제약을 완화하여 불연속 영역에서의 생성을 가능하게 합니다. (2) 잠재 공간 마스크 확산: 예측을 더 큰 의미적 세그먼트로 이동시켜, 잠재적인 생성 순서에 대한 검색을 가능하게 합니다. 실험적으로, 우리는 Python 코딩을 위한 70억 개의 파라미터를 가진 FlexMDM과 GSM8K를 위한 1억 2천 5백만 개의 파라미터를 가진 LatentMDM을 학습시켰으며, 두 가지 접근 방식 모두 고유한 모든 순서의 추론 행동을 유도하고 다운스트림 성능을 향상시킨다는 것을 확인했습니다. 저희 코드는 https://github.com/SeunggeunKimkr/genuine-any-order 에서 확인할 수 있습니다.

Many discrete reasoning tasks, such as code generation, are inherently non-causal: programmers move between high-level structure and local details, a process we call any-order inference. For autoregressive language models, which lack a native any-order interface, non-causal abilities such as infilling and next-edit prediction require hand-designed mechanisms. Can we instead design models that natively support any-order inference? Masked diffusion models have recently emerged as compelling candidates, as their any-order training objective naturally offers an any-order prediction interface. This interface, however, does not automatically yield any-order inference. We demonstrate that this interface-inference gap stems from positional uncertainty: fixed-canvas, token-level models may know what semantic component should appear without knowing where to place it. In light of this, we propose two complementary approaches: (1) Insertion-based masked diffusion, building on FlexMDM (Kim et al, 2025), relaxes fixed-position commitments via insertions, enabling generation across non-contiguous regions. (2) Latent-space masked diffusion shifts prediction to coarser semantic segments, enabling search over latent generation orders. Empirically, we train a 7B FlexMDM for Python coding and a 125M LatentMDM for GSM8K and show that both approaches induce distinct any-order inference behaviors and improve downstream performance. We release our codebase at https://github.com/SeunggeunKimkr/genuine-any-order.