다양한 증거, 더 나은 예측: 정보 비대칭 하에서의 다중 에이전트 숙고

Diverse Evidence, Better Forecasts: Multi-Agent Deliberation Under Information Asymmetry

다중 에이전트 시스템은 미래 사건 예측에 점점 더 많이 사용되고 있는데, 이는 여러 LLM 간의 숙고가 추론 및 정확도 향상에 기여한다고 여겨지기 때문입니다. 그러나 기존 접근 방식은 중요한 설계 요소를 간과합니다. 즉, 각 에이전트가 어떤 정보를 받는가 입니다. 모든 에이전트에게 동일한 증거가 제공되면 숙고는 진정한 신념 수정보다는 획일화로 이어져, 다중 에이전트 시스템은 단일 에이전트보다 훨씬 나은 성능을 내지 못합니다. 우리는 이를 근본적인 문제점으로 지적하고, 이 격차를 해소하기 위해 설계된 정보 비대칭 방식을 제안합니다. 증거를 공유되는 공개 집합과 분리된 개인 집합으로 나누어, 각 에이전트는 독점적인 지식을 보유하며, 이는 숙고 과정을 통해서만 다른 에이전트에게 전달될 수 있습니다. 우리는 이론적으로 이 분해가 에이전트 간 오류 상관 관계를 줄인다는 것을 보여주며, 관련성 기반 증거 라우팅, 근거 기반 반복적 숙고 및 신뢰도 가중 집계를 결합한 프레임워크인 InfoDelphi를 구현했습니다. 실제 예측 시장에서 파생된 375개의 이진 예측 질문으로 구성된 벤치마크인 PolyGym에서 InfoDelphi는 Brier 점수 기준으로 12~18%, 정확도 기준으로 4~8%p의 성능 향상을 보여주며, 가장 강력한 단일 에이전트 및 다중 에이전트 기준 모델을 능가합니다. 추가적인 실험 결과, 정보 비대칭을 제거하면 대부분의 숙고 효과가 사라지는 것으로 나타났으며, 이는 입력 데이터의 다양성이 효과적인 다중 에이전트 추론을 가능하게 하는 핵심 요소임을 확인시켜줍니다.

Multi-agent systems are increasingly used for forecasting future events, as deliberation among multiple LLMs is believed to improve reasoning and calibration. Yet existing approaches overlook a critical design choice: what information each agent receives. When all agents are given identical evidence, deliberation collapses into herding rather than genuine belief revision, leaving multi-agent systems little better than a single agent. We identify this as a fundamental gap and propose designed information asymmetry to close it: by partitioning evidence into shared public and disjoint private subsets, each agent holds exclusive knowledge that can only reach others through deliberation. We theoretically show that this decomposition reduces inter-agent error correlation, and instantiate it in InfoDelphi, a framework combining relevance-aware evidence routing, rationale-based iterative deliberation, and confidence-weighted aggregation. On PolyGym, a benchmark of 375 binary forecasting questions derived from real-world prediction markets, InfoDelphi outperforms the strongest single-agent and multi-agent baselines by 12--18% in Brier score and 4--8 percentage points in accuracy. More detailed experiments confirm that removing information asymmetry eliminates most deliberation gains, establishing diversity of input as the key enabler of effective multi-agent reasoning.