정확한 파라미터 설정: 난이도 기반 벤치마크 및 탐침(Probe)-기반 학습을 통한 LLM 도구 호출 성능 향상

Getting the Parameters Right: A Difficulty-Graded Benchmark and Probe-Guided Training for LLM Tool Calls

대규모 언어 모델(LLM) 에이전트는 주로 도구 사용을 통해 기능을 수행합니다. 기존의 도구 사용 연구는 주로 올바른 도구를 선택하고 호출 순서를 조정하는 데 초점을 맞추었습니다. 그러나 도구 호출의 파라미터를 정확하게 채우는 것은 성공적인 실행에 매우 중요하며, 이에 대한 연구는 상대적으로 부족했습니다. 클라우드 네트워킹과 같은 분야에서 최첨단 모델조차도 전체 도구 호출 중 절반 미만을 올바르게 완료합니다. 최근 LLM의 숨겨진 상태(hidden state)가 모델 예측에 대한 풍부한 정보를 담고 있다는 분석을 바탕으로, 모델이 파라미터 값을 생성할 때, 해당 값의 정확성을 나타내는 강력한 신호가 숨겨진 상태에 존재한다는 것을 발견했습니다. 간단한 선형 탐침(linear probe)을 사용하면 이 신호를 통해 값이 올바른지 정확하게 예측할 수 있습니다. 이러한 관찰을 바탕으로, 우리는 두 가지 상호 보완적인 접근 방식을 포함하는 통합된 탐침 기반 프레임워크를 제안합니다. 첫 번째는 탐침을 사용하여 파인튜닝에 적합한 신뢰할 수 있는 자체 생성 호출을 필터링하는 '탐침 필터링 부트스트랩 학습(Probe-Filtered Bootstrapped Training, PBT)'이고, 두 번째는 추론 과정에서 더 나은 후보를 선택하기 위해 탐침을 사용하는 '탐침 기반 재순위화(Probe-Guided Reranking, PGR)'입니다. 체계적인 평가를 지원하기 위해, 실제 클라우드 네트워크 API로 구성된 벤치마크인 ParamBench를 공개합니다. ParamBench는 파라미터 중첩 깊이, 파라미터 간의 의존성 및 이전 호출에서 값을 도출하는 데 필요한 추론을 기준으로 모든 인스턴스를 다섯 가지 난이도 수준으로 분류합니다. 5개의 오픈 모델과 6개의 외부 벤치마크를 대상으로 실시한 광범위한 실험 결과, 제안된 방법은 파라미터 생성 성능을 크게 향상시켜 정확 일치율의 평균을 19.7%에서 59.6%로 끌어올렸습니다.

Large language model agents derive much of their capability from tool use. Existing research on tool use has largely focused on selecting the right tool and orchestrating the order of calls. However, correctly filling the parameters of a tool call is equally critical for successful execution and has received far less attention. In domains such as cloud networking, even frontier models correctly complete fewer than half of tool calls. Inspired by recent analyses showing that LLM hidden states encode rich information about model predictions, we discover that while the model generates a parameter value, its hidden state contains a strong correctness signal: a simple linear probe can accurately predict whether the value will be correct. Based on this observation, we propose a unified probe-guided framework with two complementary approaches: probe-filtered bootstrapped training (PBT), which uses the probe to filter reliable self-generated calls for fine-tuning, and probe-guided reranking (PGR), which uses the probe to select better candidates during inference. To support systematic evaluation, we release ParamBench, a benchmark built from real cloud-network APIs that categorizes every instance into five difficulty levels according to parameter nesting depth, cross-parameter dependencies, and the reasoning required to derive values from earlier calls. Extensive experiments across 5 open models on ParamBench and 6 external benchmarks demonstrate that our method substantially improves parameter generation, raising the average exact match from 19.7% to 59.6%.