읽을 수 없는 정보 색인하기: LLM 기반 재귀적 서비스 분류 구조 생성 및 검색

Indexing the Unreadable: LLM-Native Recursive Construction and Search of Service Taxonomies

에이전트 인터넷(IoA) 시대가 도래하고 있습니다. LLM 에이전트는 모델 컨텍스트 프로토콜(MCP) 서버, 에이전트-에이전트(A2A) 엔드포인트, 재사용 가능한 스킬 및 기타 LLM에서 호출할 수 있는 서비스 등 빠르게 증가하는 다양한 요소들을 조합하여 사용자 목표를 달성할 것으로 예상됩니다. 그러나 LLM은 이러한 환경과 구조적인 불일치를 가지고 있습니다. 효과적인 컨텍스트는 희소한 자원이며, 서비스의 양에 따라 확장되지 않습니다. 수천 개의 서비스 설명을 프롬프트에 연결하면 컨텍스트 창을 초과하게 되며, 컨텍스트 창이 충분히 크더라도 모델은 장문의 입력 중간 부분에 있는 정보에 체계적으로 주의를 덜 기울이는 '중간부 손실(Lost-in-the-Middle)' 현상이 발생합니다. 이는 서비스 검색을 위한 컨텍스트 관리의 근본적인 문제입니다. 이러한 문제를 해결하기 위해, LLM 기반의 점진적 공개 방식과 그 구체적인 구현체인 A2X (Agent-to-Anything 서비스 검색)를 제안합니다. A2X는 등록된 서비스를 계층적 분류 구조로 자동 구성하는 LLM 기반 파이프라인으로, 쿼리 시마다 이 계층 구조를 단계별로 탐색하여, 각 LLM 호출에서 사용자의 쿼리에 매우 관련성이 높은 후보 집합만 표시하도록 합니다. 이를 통해 효과적인 컨텍스트 부족 문제를 서비스 등록 규모와 분리하고 토큰 소비량을 크게 줄이면서 검색 정확도를 향상시킵니다. A2X는 전체 컨텍스트를 제공하는 방식에 비해 Hit Rate을 6.2 포인트 향상시키고, 프롬프트 토큰 비용은 1/9로 낮췄습니다. 또한, 최첨단 오픈 소스 임베딩 기반의 기준 모델과 비교했을 때, A2X는 Hit Rate을 20포인트 이상 향상시켰습니다.

The era of the Internet of Agents (IoA) is taking shape: LLM agents are expected to fulfill user goals by orchestrating fast-growing populations of Model Context Protocol (MCP) servers, Agent-to-Agent (A2A) endpoints, reusable skills, and other LLM-callable services. Yet LLMs face a structural mismatch with this regime: effective context is a scarce resource that does not scale with the number of services. Concatenating thousands of service descriptions into a prompt overflows the context window, and even when the window is large enough, models systematically under-attend to information in the middle of long inputs, the well-documented Lost-in-the-Middle phenomenon. This is fundamentally a question of context management for service discovery. To address this, we propose an LLM-native progressive-disclosure scheme and its concrete instantiation, A2X (Agent-to-Anything service discovery): an LLM-driven pipeline that automatically organizes the registered services into a hierarchical taxonomy and walks it layer by layer at query time, so that every LLM call sees only a small candidate set highly relevant to the user query. This decouples effective-context scarcity from registry size and significantly reduces token consumption while improving retrieval accuracy. Compared to full-context dumping, A2X achieves a 6.2-point Hit Rate gain at one-ninth the prompt-token cost; compared to the state-of-the-art open-source embedding-based baseline, A2X improves Hit Rate by more than 20 points.