추론하는 동안 예측하기: 에이전트가 다음 도구 사용을 예측하도록 학습시키는 방법 - 통합 에이전트-예측기 강화 학습

Speculate While You Reason: Teaching Agents to Predict Their Next Tool Call via Joint Agent-Speculator RL

대규모 언어 모델 기반 에이전트는 종종 도구 호출 결과 대기 시간으로 인해 상당한 시간을 소비합니다. 도구 호출 예측은 에이전트의 다음 도구 호출을 미리 예측하고 실행하여 이러한 지연 시간을 줄일 수 있습니다. 하지만 기존 예측 시스템은 일반적으로 독립적인 모델이나 캐시된 데이터로 구성되어 있으며, 실제 배포된 에이전트의 행동과 잘 일치하지 않는 경우가 많습니다. 본 연구에서는 이러한 에이전트-예측기 간의 불일치를 확인하고, 대상 에이전트 자체가 강력한 다음 도구 호출 예측자임을 보여줍니다. 이를 바탕으로 에이전트와 예측기를 하나의 모델로 통합하는 간단한 설계를 제안합니다. 본 논문에서는 '자기 예측 에이전트'라는 새로운 모델을 소개합니다. 이 모델은 에이전트 모드에서 작업을 수행하고, 동시에 부분적인 실행 경로로부터 다음 도구 호출을 예측하는 예측기 모드를 갖습니다. 또한, 기존의 KV 캐시를 재사용하여 효율성을 높입니다. 성능 저하 없이 이러한 양방향 기능을 구현하기 위해, 에이전트 자체의 실행 결과를 활용하여 예측 목표를 설정하고, 에이전트와 예측기의 업데이트를 번갈아 수행하는 통합 강화 학습 방법을 제안합니다. 실험 결과, Qwen3-4B 모델에서 평균 다음 도구 호출 예측 정확도(Hit@1)가 44.1에서 61.2로 향상되었고, Qwen3.5-4B 모델에서는 48.9에서 66.3으로 향상되었습니다. 동시에 에이전트의 작업 성공률은 유지되었습니다.

Large language model agents often spend substantial wall-clock time waiting for tool call results. Tool-call speculation can hide this latency by predicting and pre-executing an agent's next tool call if the prediction matches the agent's eventual tool call, but existing speculators are typically separate draft models or cached traces that are poorly aligned with the deployed agent's own behavior. We identify this speculator-agent gap and show that the target agent itself is a strong next-call speculator. This points to a simpler design: unifying the agent and speculator within the same model. In this paper, we introduce the self-speculating agent, a single model that both solves tasks in agent mode and predicts its next tool call from partial trajectories in speculator mode, fully reusing prefix KV cache. To enable this dual-mode agent without degrading performance, we propose a joint agent-speculator reinforcement learning method, which derives speculation targets from the agent's own rollouts and alternates agent and speculator updates. Across agentic search QA and conversational tool-use agentic tasks, our method improves average next tool-call Hit@1 from 44.1 to 61.2 for Qwen3-4B and from 48.9 to 66.3 for Qwen3.5-4B, while preserving agent task success.