추론 합의: 가중치 DAG 병합을 통한 LLM 추론 구조적 앙상블

Reasoning Consensus: Structural Ensembling of LLM Reasoning via Weighted DAG Aggregation

대규모 언어 모델(LLM)은 연쇄적인 사고 과정을 통해 문제를 해결하지만, 이러한 과정은 비정형적인 글로 표현되어 있습니다. 중요한 작업에서 사용자는 어떤 단계가 충분히 뒷받침되는지, 어떤 대안들이 진지하게 고려되었는지, 그리고 모델이 버린 결론과 최종 결론을 어떻게 비교해야 하는지 알기 어렵습니다. 우리는 여러 LLM의 추론 과정 구조를 앙상블하는 프레임워크를 제안합니다. 이 프레임워크는 연쇄 과정에서 추출된 방향 비순환 그래프(DAG)를 가중치 병합하여 사용하며, 각 단계를 독립적인 증거가 얼마나 뒷받침하는지에 따라 가중치를 부여하여 '추론 합의'를 도출합니다. 우리는 통계 해석, 대학원 수준 과학, 서사적 멀티홉 추론 및 1차 논리를 아우르는 여섯 가지 벤치마크에서, 제안된 앙상블 방법이 동일한 예산으로 구성된 다수결 기반 모델보다 뛰어난 성능을 보임을 확인했습니다. 특히 MuSR-MM(서사적 멀티홉 추론) 데이터셋에서 최대 3.1%의 정확도 향상을 달성했습니다. 또한, 제안된 프레임워크는 동일한 예산 내에서 단일 모델의 자기 일관성 수준과 동등하거나 그 이상의 성능을 제공하며, 동시에 검토 가능한 합의 추론 그래프를 제시합니다. 앙상블 가중치는 LLM 평가자의 추론 품질 순위와 스피어만 상관관계 $ρ=0.30$-$0.51$ 사이의 상관관계를 보이며, 합의 서브그래프는 다수결 답변으로 이어지는 대안보다 선호되는 경향을 보였습니다(다섯 개의 데이터셋에서 54.4-65.4%의 경우). 또한, 저희의 프레임워크는 문제에 대한 다양한 추론 관점을 분석하는 데에도 활용될 수 있습니다.

Large Language Models (LLMs) explore problems through chain-of-thought, but this exploration is buried in unstructured prose. On high-stakes tasks, users cannot tell which steps are well-supported, which alternatives were seriously considered, or how the final conclusion compares to those the model discarded. We propose a framework that ensembles the reasoning structure, not just the answers, of multiple LLMs by weighted merging of Directed Acyclic Graphs (DAGs) extracted from reasoning chains. We weight each step by how many traces independently attest to it, to return "Consensus Reasoning". Across six benchmarks spanning statutory interpretation, graduate-level science, narrative multi-hop reasoning, and first-order logic, our ensemble outperforms a matched-budget majority-vote baseline, with a maximum accuracy gain of 3.1% on MuSR-MM (narrative multi-hop reasoning). On a single model, the framework matches or exceeds self-consistency at the same trace budget while additionally exposing an inspectable consensus reasoning graph. Ensemble weights correlate with LLM-judge rankings of reasoning quality at Spearman $ρ= 0.30$-$0.51$, and consensus subgraphs are preferred over alternatives leading to the majority-vote answer in 54.4-65.4% of head-to-head comparisons across five of six datasets. We observe that our framework can also be used to analyze diverse reasoning perspectives for a problem.