선생님의 몇 가지 간단한 조치가 큰 영향을 미친다: 에이전트 후처리 학습을 위한 비용 효율적인 온폴리시 데이터 증강 방법

A Few Teacher Steps Go a Long Way: Cost-Efficient On-Policy Data Augmentation for Agent Post-Training

LLM 에이전트의 경우, 지도 미세 조정은 단순히 선생님 레이블의 품질뿐만 아니라, 해당 레이블이 어떤 상호 작용 맥락에 의존하는지에 대한 문제이기도 합니다. 순수한 행동 복제(behavioral cloning)는 전체 선생님 데모를 사용하며, 이는 학습 시 보이는 선생님 유도 맥락과 테스트 시간에 발생하는 학생 유도 맥락 간의 불일치를 야기합니다. 최근 연구에서는 학생들이 도달한 맥락에서 선생님을 호출하여 이 불일치를 해결하려고 시도하며, 종종 선생님의 응답을 더욱 정교하게 필터링합니다. 본 연구에서는 온폴리시 데이터 구축을 예산 할당 문제로 정의합니다. 제한된 감독 자원 하에서, 선생님의 출력을 더 많은 시작부터 끝까지 데모에 사용해야 하는지, 더 긴 응답 생성에 사용해야 하는지, 결과 필터링에 사용해야 하는지, 아니면 학습자의 유도 맥락을 더 넓게 커버하는 데 사용해야 하는지에 대한 문제입니다. 우리는 롤아웃 정책, 스위치 시간 분포, 연속 길이, 필터링 규칙 및 두 가지 보완적인 비용(필터링 전에 생성된 선생님 추론과 SFT에 유지되는 선생님 감독)을 통해 이 설계 공간을 형식화합니다. HotpotQA, ALFWorld 및 Terminal-Bench-Dev 데이터셋에서, 제한된 조건 하에서 학생 유도 맥락에서의 필터되지 않은 선생님 응답은 동일한 예산 범위 내에서 순수한 행동 복제보다 더 나은 성능을 보입니다. 특히 HotpotQA와 ALFWorld 데이터셋에서, 몇 단계의 짧은 응답이 성공 여부 또는 중요한 맥락에 대한 필터링된 응답과 유사하거나 더 우수한 성능을 보였습니다. 이러한 결과는 학습자의 유도 맥락에서 제공되는 몇 가지 선생님의 간단한 조치가, 더 길거나 더욱 엄격하게 선별된 선생님 응답보다 비용 효율적인 감독 전략이 될 수 있음을 시사합니다.

For LLM agents, supervised fine-tuning is not only about teacher labels' quality, but also about which interaction contexts those labels condition on. Pure behavioral cloning uses full teacher demonstrations, creating a mismatch between teacher-induced contexts seen in training and student-induced contexts encountered at test time. Recent work addresses this mismatch by querying a teacher at contexts reached by the student, often with increasingly elaborate filtering of the teacher's continuations. We instead frame on-policy data construction as a budget-allocation problem: under matched supervision resources, should teacher output be spent on more start-to-finish demos, longer continuations, outcome filtering, or broader coverage of learner-induced contexts? We formalize this design space through the rollout policy, switch-time distribution, continuation horizon, filtering rules, and two complementary costs: teacher inference generated before filtering and teacher supervision retained for SFT. Across HotpotQA, ALFWorld, and Terminal-Bench-Dev, bounded unfiltered teacher continuations at learner-induced contexts improve over pure behavioral cloning at matched budgets. On HotpotQA and ALFWorld, where we run the full comparison, few-step continuations match or exceed success-filtered and critical-context-filtered alternatives. Our findings suggest that a few teacher steps, placed at learner-induced contexts, can be a more cost-efficient supervision allocation than longer or more heavily curated teacher completions.