복합 인공지능 시스템에서의 집계의 강점과 한계

Power and Limitations of Aggregation in Compound AI Systems

복합 인공지능 시스템을 설계할 때, 흔히 동일한 모델의 여러 복사본을 사용하고, 각 모델의 응답을 집계하여 합성된 결과를 생성하는 방식을 사용합니다. 이러한 모델들이 기본적으로 동일하기 때문에, 집계가 단일 모델을 사용하는 것보다 더 다양한 결과를 얻을 수 있게 하는지 여부에 대한 의문이 제기됩니다. 본 연구에서는 스타일화된 주체-대리인 프레임워크를 사용하여 집계의 강점과 한계를 조사합니다. 이 프레임워크는 시스템 설계자가 각 대리인의 보상 함수 설정을 통해 부분적으로 각 대리인의 출력을 제어할 수 있지만, 프롬프트 엔지니어링 능력과 모델의 성능에 의해 여전히 제한 사항이 존재한다는 점을 모델링합니다. 우리의 분석을 통해, 시스템 설계자가 유도할 수 있는 출력의 범위를 확장하는 세 가지 자연적인 메커니즘(실현 가능성 확장, 지지 집합 확장, 결합 집합 축소)을 발견했습니다. 우리는 모든 집계 연산이 유도 가능성을 확장하기 위해서는 이러한 메커니즘 중 하나를 반드시 구현해야 하며, 이러한 메커니즘의 강화된 버전은 유도 가능성 확장을 완전히 특징짓는 필요충분조건임을 증명합니다. 마지막으로, 본 연구 결과를 LLM이 사용된 간단한 참조 생성 작업에 적용하여 경험적으로 검증했습니다. 종합적으로, 본 연구 결과는 복합 인공지능 시스템이 모델 성능 및 프롬프트 엔지니어링의 한계를 극복할 수 있는 조건을 규명하는 데 기여합니다.

When designing compound AI systems, a common approach is to query multiple copies of the same model and aggregate the responses to produce a synthesized output. Given the homogeneity of these models, this raises the question of whether aggregation unlocks access to a greater set of outputs than querying a single model. In this work, we investigate the power and limitations of aggregation within a stylized principal-agent framework. This framework models how the system designer can partially steer each agent's output through its reward function specification, but still faces limitations due to prompt engineering ability and model capabilities. Our analysis uncovers three natural mechanisms -- feasibility expansion, support expansion, and binding set contraction -- through which aggregation expands the set of outputs that are elicitable by the system designer. We prove that any aggregation operation must implement one of these mechanisms in order to be elicitability-expanding, and that strengthened versions of these mechanisms provide necessary and sufficient conditions that fully characterize elicitability-expansion. Finally, we provide an empirical illustration of our findings for LLMs deployed in a toy reference-generation task. Altogether, our results take a step towards characterizing when compound AI systems can overcome limitations in model capabilities and in prompt engineering.