스킬 기반 단일 에이전트가 멀티 에이전트 시스템을 대체하는 경우와 실패하는 경우

When Single-Agent with Skills Replace Multi-Agent Systems and When They Fail

멀티 에이전트 AI 시스템은 복잡한 추론에 효과적인 것으로 입증되었습니다. 이러한 시스템은 명시적인 통신을 통해 협력하는 전문화된 에이전트들로 구성되지만, 상당한 계산 오버헤드를 발생시킵니다. 여기서 자연스러운 의문이 제기됩니다. 스킬 라이브러리에서 스킬을 선택하는 단일 에이전트로 유사한 모듈성의 이점을 얻을 수 있을까요? 우리는 스킬을 내재화된 에이전트 행동으로 간주하여 이 질문을 탐구합니다. 이러한 관점에서 멀티 에이전트 시스템은 에이전트 간 통신을 스킬 선택으로 대체함으로써 동등한 단일 에이전트 시스템으로 컴파일될 수 있습니다. 예비 실험에 따르면 이 접근 방식은 추론 벤치마크에서 경쟁력 있는 정확도를 유지하면서 토큰 사용량과 대기 시간을 상당히 줄일 수 있음을 시사합니다. 그러나 이러한 효율성은 거의 주목받지 못했던 더 깊은 질문을 제기합니다. 라이브러리가 커짐에 따라 스킬 선택은 어떻게 확장되는가? 인지 과학의 원리를 바탕으로, 우리는 LLM의 스킬 선택이 인간의 의사 결정과 유사한 제한된 용량을 보인다고 제안합니다. 우리는 스킬 선택의 확장 동작을 조사하고 놀라운 패턴을 관찰했습니다. 선택 정확도는 점진적으로 저하되는 대신 임계 라이브러리 크기까지는 안정적으로 유지되다가 급격히 떨어지는데, 이는 인간 인지의 용량 제한을 연상시키는 상전이(phase transition)를 나타냅니다. 또한, 우리는 단순히 라이브러리 크기보다는 유사한 스킬 간의 의미적 혼동 가능성이 이러한 성능 저하에 중심적인 역할을 한다는 증거를 발견했습니다. 이러한 관점은 오랫동안 인간이 복잡한 선택을 관리하는 데 도움을 주었던 계층적 구조가 AI 시스템에도 유사하게 유익할 수 있음을 시사합니다. 계층적 라우팅을 이용한 초기 결과는 이 가설을 뒷받침합니다. 이 연구는 LLM에서 의미 기반 스킬 선택의 근본적인 한계에 대한 새로운 질문을 제시하고, 확장 가능한 스킬 기반 에이전트를 설계하기 위한 인지 기반 프레임워크와 실용적인 가이드라인을 제공합니다.

Multi-agent AI systems have proven effective for complex reasoning. These systems are compounded by specialized agents, which collaborate through explicit communication, but incur substantial computational overhead. A natural question arises: can we achieve similar modularity benefits with a single agent that selects from a library of skills? We explore this question by viewing skills as internalized agent behaviors. From this perspective, a multi-agent system can be compiled into an equivalent single-agent system, trading inter-agent communication for skill selection. Our preliminary experiments suggest this approach can substantially reduce token usage and latency while maintaining competitive accuracy on reasoning benchmarks. However, this efficiency raises a deeper question that has received little attention: how does skill selection scale as libraries grow? Drawing on principles from cognitive science, we propose that LLM skill selection exhibits bounded capacity analogous to human decision-making. We investigate the scaling behavior of skill selection and observe a striking pattern. Rather than degrading gradually, selection accuracy remains stable up to a critical library size, then drops sharply, indicating a phase transition reminiscent of capacity limits in human cognition. Furthermore, we find evidence that semantic confusability among similar skills, rather than library size alone, plays a central role in this degradation. This perspective suggests that hierarchical organization, which has long helped humans manage complex choices, may similarly benefit AI systems. Our initial results with hierarchical routing support this hypothesis. This work opens new questions about the fundamental limits of semantic-based skill selection in LLMs and offers a cognitive-grounded framework and practical guidelines for designing scalable skill-based agents.