LLM 기반 다중 에이전트 프롬프트 최적화에서 시간 및 구조적 신용 할당의 통합

Unifying Temporal and Structural Credit Assignment in LLM-Based Multi-Agent Prompt Optimization

다중 에이전트 시스템(MAS)은 대규모 언어 모델(LLM)이 협력적인 상호 작용을 통해 복잡한 추론 작업을 수행할 수 있도록 하지만, 계산 그래프의 이산적이고 미분 불가능한 특성 및 전역 감독 신호의 희소성으로 인해 MAS의 동적 최적화는 여전히 어려운 과제입니다. 기존의 블랙박스 최적화기는 일반적으로 전체 경로 수준의 실패를 특정 로컬 구성 요소에 연결하는 데 어려움을 겪어 비효율적이고 분산도가 높은 탐색을 초래합니다. 우리는 실행 가능한 MAS 최적화를 위해서는 구조적인 귀납 편향이 오류 신호를 분리하는 데 필요하다고 주장합니다. 본 연구에서는 시간 및 구조적 신용 할당이라는 방법을 제안하며, 이는 목표 함수를 다음과 같이 두 축으로 분해합니다. (i) 시간적 신용: 상태 공간 병목 현상을 사용하여 중요한 라운드를 식별하고, (ii) 구조적 신용: 정적인 역할 정책을 사용하여 에이전트의 기여도를 분리합니다. 이러한 분해된 신호를 활용하여 이산적이고 언어화된 블록 좌표 하강 알고리즘을 제안하며, 이는 반복적인 개선을 수행합니다. 무분별한 전역 업데이트 대신, 본 알고리즘은 역할 프롬프트 및 집계 프로토콜을 번갈아 최적화하며, LLM에서 생성된 "프록시 기울기"를 사용하여 식별된 약점 요소에만 집중합니다. 다양한 추론 벤치마크에서 본 연구의 방법은 쿼리 복잡도를 크게 줄이면서 성능을 향상시키므로, 자기 개선 MAS로 나아가는 원칙적이고 해석 가능한 경로를 제시합니다.

While Multi-Agent Systems (MAS) empower Large Language Models to tackle complex reasoning tasks through collaborative interaction, optimizing their dynamics remains a formidable challenge due to the discrete, non-differentiable nature of the computation graph and the sparsity of global supervisory signals. Existing black-box optimizers struggle to attribute trajectory-level failure to specific local components, resulting in inefficient, high-variance exploration. We argue that tractable MAS optimization needs structural inductive biases to disentangle error signals. We propose temporal and structural credit assignment, which decomposes the objective along two axes: (i) temporal credit, using state-space bottlenecks to identify critical rounds, and (ii) structural credit, using stationary role policies to isolate agent contributions. Leveraging these decomposed signals, we introduce a discrete, verbalized block coordinate descent algorithm for iterative refinement. Rather than indiscriminate global updates, it alternates between optimizing role prompts and aggregation protocols, using LLM-generated "proxy gradients" to target only the identified weak links. Across diverse reasoning benchmarks, our approach substantially reduces query complexity while improving performance, providing a principled and interpretable path toward self-improving MAS.