용량 제약이 있는 에이전트에 예측 작업을 할당하는 학습

Learning to Assign Prediction Tasks to Agents with Capacity Constraints

본 연구에서는 사용 가능한 인간 또는 AI 에이전트 집합에서 특정 에이전트에 예측 작업을 할당하는 문제를 다룹니다. 특히, 각 에이전트는 처리할 수 있는 작업의 비율에 제약이 있다는 점을 고려하여, 에이전트의 전문성과 작업 할당 정책을 순차적으로 학습합니다. 본 연구는 에이전트 용량, 에이전트 간 전문성 차이, 그리고 작업 컨텍스트를 기준으로 이 문제를 일반적인 이론적 틀에서 분석합니다. 또한, 전체 성능을 최대화하는 순차적 탐색-활용 정책 학습 알고리즘 프레임워크를 개발했습니다. 다양한 표 형식, 이미지 및 텍스트 예측 작업을 통해 수행된 실험 결과는, 본 연구의 정책 학습 알고리즘이 LLM 및 인간 에이전트를 포함한 다양한 유형의 에이전트에 대해 컨텍스트가 없는 기준선보다 체계적인 성능 향상을 가져옴을 보여줍니다.

We address the problem of learning to assign prediction tasks to one agent from a set of available human or AI agents. In particular, we focus on the sequential learning of agent expertise and assignment policies where each agent is constrained to handle a fraction of tasks. We provide a general theoretical characterization of this problem in terms of agent capacities, differences in agent expertise, and task context. We then develop a framework of sequential explore-exploit policy-learning algorithms that seek to maximize overall performance. Experimental results over a variety of tabular, image, and text prediction tasks demonstrate systematic gains from our policy-learning algorithms relative to non-contextual baselines across different types of agents, including LLMs and humans.