잠재 변수 기반의 DARM: 이산 확산 모델과 자기 회귀 모델 간의 연계 연구를 통한 추론 능력 향상

Latent-DARM: Bridging Discrete Diffusion And Autoregressive Models For Reasoning

대부분의 다중 에이전트 시스템은 순차적인 생성 방식을 기반으로 하는 자기 회귀 언어 모델(ARM)에 의존합니다. ARM은 유창한 텍스트 생성에는 효과적이지만, 전반적인 추론 능력과 계획 수정 능력이 제한적입니다. 반면, 이산 확산 언어 모델(DDLM)은 비순차적이고 전역적으로 수정 가능한 생성 방식을 가능하게 하며, 강력한 계획 능력을 보여주지만, 제한적인 텍스트 유창성으로 인해 ARM과의 직접적인 협업에 어려움이 있습니다. 본 연구에서는 DDLM(계획자)과 ARM(실행자)을 연결하는 잠재 공간 기반 통신 프레임워크인 Latent-DARM을 제안합니다. Latent-DARM은 수학, 과학, 상식 추론 벤치마크에서 텍스트 기반 인터페이스보다 평균적으로 높은 성능을 보이며, DART-5 데이터셋에서 정확도를 27.0%에서 36.0%로, AIME2024 데이터셋에서 0.0%에서 14.0%로 향상시켰습니다. 또한, Latent-DARM은 최첨단 추론 모델에 버금가는 성능을 보이면서 토큰 사용량은 2.2% 미만으로 매우 효율적입니다. 본 연구는 서로 다른 모델을 사용하는 에이전트 간의 다중 에이전트 협업을 발전시키는 데 기여합니다.

Most multi-agent systems rely exclusively on autoregressive language models (ARMs) that are based on sequential generation. Although effective for fluent text, ARMs limit global reasoning and plan revision. On the other hand, Discrete Diffusion Language Models (DDLMs) enable non-sequential, globally revisable generation and have shown strong planning capabilities, but their limited text fluency hinders direct collaboration with ARMs. We introduce Latent-DARM, a latent-space communication framework bridging DDLM (planners) and ARM (executors), maximizing collaborative benefits. Across mathematical, scientific, and commonsense reasoning benchmarks, Latent-DARM outperforms text-based interfaces on average, improving accuracy from 27.0% to 36.0% on DART-5 and from 0.0% to 14.0% on AIME2024. Latent-DARM approaches the results of state-of-the-art reasoning models while using less than 2.2% of its token budget. This work advances multi-agent collaboration among agents with heterogeneous models.