ParaTool: 문맥 기반 도구 표현을 파라미터로 변환

ParaTool: Shifting Tool Representations from Context to Parameters

도구 호출(tool calling)은 대규모 언어 모델(LLM)이 외부 실행 가능한 인터페이스와 상호 작용하여 환경에 종속적인 문제 해결을 지원하도록 확장합니다. 그러나 일반적으로 사용되는 문맥 내 학습(in-context learning, ICL) 방식은 도구 설명서 및 사용 예시를 자세하게 포함하여 컨텍스트에 직접 삽입합니다. 이는 컨텍스트 길이가 증가함에 따라 상당한 추론 오버헤드를 발생시키고 환각 위험을 높입니다. 반면, 미세 조정 기반 방법은 일반적인 도구 호출 능력을 향상시키는 데 도움이 되지만, 이전에 사용했던 특정 도구의 세부 정보를 효과적으로 내부화하지 못하여 여전히 문맥 내 설명서에 의존하는 경향이 있습니다. 이러한 한계를 해결하기 위해, 우리는 각 도구를 독립적이고 로드 가능한 파라미터 집합으로 투영하는 프레임워크인 ParaTool을 제안합니다. ParaTool은 동적으로 통합된 이와 같은 파라미터화된 도구들을 활용하여 LLM이 문맥 내 문서나 예시 없이도 도구 호출을 수행할 수 있도록 합니다. 구체적으로, 우리의 접근 방식은 세 단계로 구성됩니다: (1) 파라미터 기반 도구 사전 학습은 다양한 도구의 지식을 독립적인 파라미터 모듈에 캡슐화합니다; (2) 소프트 도구 선택은 게이팅 네트워크를 사용하여 관련 도구 파라미터를 동적으로 가중치 부여하고 집계합니다; (3) 파라미터 기반 도구 미세 조정은 학습 및 추론 과정을 일치시키기 위해 도구 파라미터를 공동으로 업데이트합니다. Stable ToolBench 및 BFCL에서의 실험 결과, ParaTool은 강력한 ICL 기반 모델보다 훨씬 뛰어난 성능을 보이며, 계산 복잡성을 줄이는 동시에 우수한 성능을 달성함을 보여줍니다.

Tool calling extends large language models (LLMs) by enabling grounded interaction with external executable interfaces, thereby supporting environment-coupled problem solving. However, mainstream in-context learning (ICL) approaches typically incorporate detailed tool documentation and usage examples directly into the context. This results in substantial inference overhead and heightened risks of hallucination as the context length grows. Conversely, while tuning-based methods improve general tool-calling capabilities, they often fail to effectively internalize the specific details of previously seen tools, thereby retaining a dependency on in-context documentation. To address these limitations, we propose ParaTool, a framework that projects each tool into a dedicated, loadable set of parameters. By equipping a dynamic integration of these parameterized tools, the LLM can perform tool calling without relying on in-context documents or examples. Specifically, our approach consists of three stages: (1) parametric tool pre-training encapsulates the knowledge of different tools into independent parameter modules; (2) soft tool selection employs a gating network to dynamically weigh and aggregate relevant tool parameters; and (3) parametric tool fine-tuning jointly updates tool parameters to align the training and inference processes. Experiments on Stable ToolBench and BFCL demonstrate that ParaTool significantly outperforms strong ICL-based baselines, achieving superior performance while reducing computational complexity.