LACE: 격자 어텐션을 활용한 다중 스레드 탐색

LACE: Lattice Attention for Cross-thread Exploration

현재의 대규모 언어 모델은 독립적으로 추론을 수행합니다. 여러 개의 추론 경로를 병렬로 샘플링하는 것은 일반적이지만, 이러한 경로들은 상호 작용하지 않으며, 종종 동일한 방식으로 실패합니다. 본 논문에서는 LACE라는 프레임워크를 소개합니다. LACE는 추론을 독립적인 시도의 집합에서 조율되고 병렬적인 프로세스로 변환합니다. 모델 아키텍처를 재구성하여 스레드 간 어텐션을 가능하게 함으로써, LACE는 동시 추론 경로가 중간 결과를 공유하고 추론 과정에서 서로를 수정할 수 있도록 합니다. 핵심적인 과제는 이러한 협력적인 행동을 보여주는 자연적인 학습 데이터가 부족하다는 점입니다. 우리는 이 문제를 해결하기 위해 모델이 스레드 간에 통신하고 오류를 수정하도록 명시적으로 학습시키는 합성 데이터 파이프라인을 개발했습니다. 실험 결과, 이러한 통합적인 탐색 방식은 표준 병렬 검색 방식보다 훨씬 우수한 성능을 보이며, 추론 정확도를 7점 이상 향상시켰습니다. 이러한 결과는 대규모 언어 모델이 병렬 추론 경로 간의 상호 작용을 허용할 때 더욱 효과적일 수 있음을 시사합니다.

Current large language models reason in isolation. Although it is common to sample multiple reasoning paths in parallel, these trajectories do not interact, and often fail in the same redundant ways. We introduce LACE, a framework that transforms reasoning from a collection of independent trials into a coordinated, parallel process. By repurposing the model architecture to enable cross-thread attention, LACE allows concurrent reasoning paths to share intermediate insights and correct one another during inference. A central challenge is the absence of natural training data that exhibits such collaborative behavior. We address this gap with a synthetic data pipeline that explicitly teaches models to communicate and error-correct across threads. Experiments show that this unified exploration substantially outperforms standard parallel search, improving reasoning accuracy by over 7 points. Our results suggest that large language models can be more effective when parallel reasoning paths are allowed to interact.