프롬프트 기반 에이전트 플레이북의 적용 가능성은 언제 결정될까? 정확성, 비용 및 실행 시간 변화를 중심으로 한 에이전트 배포 연구

When Do Prompt-Side Agent Playbooks Transfer? Accuracy, Cost, and Runtime Shift in Agent Deployment

프롬프트 기반 플레이북은 재학습 없이 도구 사용 언어 에이전트를 개선할 수 있지만, 원래 환경을 벗어나 다른 환경으로의 적용 가능성은 불확실합니다. 본 연구에서는 표준화된 증류-검증-전송 프로토콜을 사용하여 고정된 플레이북 전송의 효과를 분석했습니다. ALFWorld 데이터셋에서, 제한적인 탐욕적 디코딩 방식 하에서 전송은 유익한 결과를 가져왔으며, 예산 대비 성능 비교에서 증류된 가이드가 다섯 가지 고정된 시연 방식을 능가하는 것으로 나타났습니다. TAU2-Bench 데이터셋에서는, 미리 정의된 집계 대비 분석을 통해 특정 도메인에서의 미미한 평균적인 이점을 확인했지만, 전역 홀름 보정을 적용했을 때 135개 중 1개의 경로 수준 효과만 유의미했습니다. 나머지 결과는 다양한 환경 조건에 따른 호환성 민감성을 보여주는 설명적 증거를 제공합니다. XBench-DeepSearch 데이터셋에서, 특정 방식으로 실행 시간을 조작하면 초기 시도 단계에서는 유용한 휴리스틱을 유지하지만, 컨텍스트 및 실행 시간 변화로 인해 반복적인 쿼리가 발생하고, 종료가 지연되며, 상당한 비용 증가가 발생하는 것을 확인했습니다. 다양한 벤치마크를 통해, 전송된 플레이북과 대상 환경에서 생성된 플레이북 모두 성공 여부, 종료 조건, 프로토콜 호환성 및 비용 측면에서 대상 환경에서의 검증이 필요합니다. 따라서 고정된 전송은 조건에 따라 초기 설정 단계를 간소화할 수 있는 옵션이지만, 기본적으로 재사용 가능한 전략이나 대상 환경에서의 재증류보다 항상 선호되는 대안이라고 할 수는 없습니다.

Prompt-side playbooks can improve tool-using language agents without retraining, but their portability beyond the source setting is unclear. We study frozen playbook transfer under a shared distill--validate--transfer protocol. On ALFWorld, transfer is beneficial under controlled greedy decoding and, in one near-budget-matched comparison, distilled guidance outperforms five fixed demonstrations. On TAU2-Bench, a prespecified aggregate contrast supports a modest average matched-domain advantage, but global Holm correction retains only one of 135 route-level effects; the remaining grid provides descriptive evidence of compatibility-sensitive heterogeneity. On XBench-DeepSearch, one artifact--runtime pairing preserves useful first-try heuristics while producing repeated queries, delayed stopping, and substantial cost inflation after a context-runtime shift. Across benchmarks, transferred and target-derived playbooks both require target-side validation of success, termination, protocol compatibility, and cost. Frozen transfer is therefore a conditional cold-start option, not a reuse-by-default strategy or a universally preferable alternative to target-side redistillation.