ComplLLM: 의사 결정에 활용할 수 있는 상호 보완적인 정보를 발굴하기 위한 LLM 미세 조정

ComplLLM: Fine-tuning LLMs to Discover Complementary Signals for Decision-making

다중 에이전트 의사 결정 시스템은 상호 보완성이 존재할 때, 즉, 서로 다른 에이전트가 최종 의사 결정을 내리는 데 필요한 고유한 정보를 제공할 때, 단일 에이전트 시스템보다 더 우수한 성능을 보일 수 있습니다. 본 논문에서는 의사 결정 이론을 기반으로 하는 ComplLLM이라는 후속 학습 프레임워크를 제안합니다. ComplLLM은 상호 보완적인 정보를 보상으로 사용하여 의사 결정 지원 LLM을 미세 조정함으로써, 기존 에이전트의 의사 결정을 보완하는 신호를 생성합니다. ComplLLM을 합성 데이터 및 실제 작업에서 검증한 결과, 제안된 방법이 알려진 상호 보완적인 정보를 복구하고, 하위 의사 결정 주체를 지원하기 위한 상호 보완적인 신호에 대한 타당한 설명을 제공하는 것을 확인했습니다.

Multi-agent decision pipelines can outperform single agent workflows when complementarity holds, i.e., different agents bring unique information to the table to inform a final decision. We propose ComplLLM, a post-training framework based on decision theory that fine-tunes a decision-assistant LLM using complementary information as reward to output signals that complement existing agent decisions. We validate ComplLLM on synthetic and real-world tasks involving domain experts, demonstrating how the approach recovers known complementary information and produces plausible explanations of complementary signals to support downstream decision-makers.