ToolWeaver: 대규모 언어 모델에서의 확장 가능한 도구 사용을 위한 협력적 의미 엮기

ToolWeaver: Weaving Collaborative Semantics for Scalable Tool Use in Large Language Models

널리 사용되는 검색 기반 도구 사용 파이프라인은 이중적인 의미론적 난관에 직면해 있습니다. 검색기는 복잡한 의미를 포착하지 못하는 인코더를 사용하는 경우가 많으며, 대규모 언어 모델(LLM) 자체는 자연어 사전 학습 과정에서 내재된 도구 지식을 갖추지 못했기 때문입니다. 생성형 방법론은 선택과 실행을 통합하고 LLM이 도구 식별자를 직접 학습하고 생성하게 함으로써 강력한 대안을 제공합니다. 그러나 각 도구를 고유한 새 토큰에 매핑하는 일반적인 관행은 상당한 한계를 가져옵니다. 이는 어휘 크기를 폭발적으로 증가시키고 각 도구에 의미적으로 고립된 토큰을 할당함으로써 확장성과 일반화의 위기를 초래합니다. 또한 이 방식은 방대한 라이브러리 내에서 단일형 도구 ID의 희소한 동시 발생으로부터 관계를 추론해야 하므로, 협력적 도구 관계의 학습을 저해하는 의미론적 병목 현상을 유발합니다. 이러한 한계를 해결하기 위해, 우리는 도구를 계층적 시퀀스로 인코딩하는 새로운 생성형 도구 학습 프레임워크인 ToolWeaver를 제안합니다. 이 접근 방식은 어휘 확장을 도구 수에 대해 로그(logarithmic) 수준으로 억제합니다. 결정적으로, 이는 모델이 단일형 도구 ID의 희소한 동시 발생이 아닌, 공유 코드의 밀집된 동시 발생으로부터 협력 패턴을 학습할 수 있게 합니다. 우리는 도구의 내재적 의미와 외재적 공동 사용 패턴을 결합하도록 설계된 새로운 토큰화 프로세스를 통해 이러한 구조화된 코드를 생성합니다. 그 후 구조화된 코드는 모델이 계층적 코드 시퀀스를 생성하도록 미세 조정되는 생성형 정렬 단계를 거쳐 LLM에 통합됩니다. 약 47,000개의 도구를 대상으로 한 평가 결과, ToolWeaver는 최신 방법론을 크게 능가하는 성능을 보였으며, 고급 도구 증강 에이전트를 위한 더 확장 가능하고, 일반화 가능하며, 의미를 인식하는 기반을 마련했습니다.

Prevalent retrieval-based tool-use pipelines struggle with a dual semantic challenge: their retrievers often employ encoders that fail to capture complex semantics, while the Large Language Model (LLM) itself lacks intrinsic tool knowledge from its natural language pretraining. Generative methods offer a powerful alternative by unifying selection and execution, tasking the LLM to directly learn and generate tool identifiers. However, the common practice of mapping each tool to a unique new token introduces substantial limitations: it creates a scalability and generalization crisis, as the vocabulary size explodes and each tool is assigned a semantically isolated token. This approach also creates a semantic bottleneck that hinders the learning of collaborative tool relationships, as the model must infer them from sparse co-occurrences of monolithic tool IDs within a vast library. To address these limitations, we propose ToolWeaver, a novel generative tool learning framework that encodes tools into hierarchical sequences. This approach makes vocabulary expansion logarithmic to the number of tools. Crucially, it enables the model to learn collaborative patterns from the dense co-occurrence of shared codes, rather than the sparse co-occurrence of monolithic tool IDs. We generate these structured codes through a novel tokenization process designed to weave together a tool's intrinsic semantics with its extrinsic co-usage patterns. These structured codes are then integrated into the LLM through a generative alignment stage, where the model is fine-tuned to produce the hierarchical code sequences. Evaluation results with nearly 47,000 tools show that ToolWeaver significantly outperforms state-of-the-art methods, establishing a more scalable, generalizable, and semantically-aware foundation for advanced tool-augmented agents.