SkillRise: 교차 작업 기술 진화를 위한 능동적 강화 학습

SkillRise: Agentic Reinforcement Learning for Cross-Task Skill Evolution

대규모 언어 모델 에이전트는 종종 관련은 있지만 구별되는 작업을 수행하며, 이러한 작업들은 재사용 가능한 해결 패턴을 공유합니다. 그러나 기존의 에이전트 기반 강화 학습은 작업을 독립적인 에피소드로 취급하는 반면, 기존의 기술 학습 방법은 하나의 작업에 대한 반복적인 시도에 집중하거나 추출, 검색 및 실행이 얽혀 있는 다단계 파이프라인을 사용합니다. 본 논문에서는 여러 작업에 걸쳐 기술을 학습할 수 있는 통합 강화 학습 프레임워크인 SkillRise를 소개합니다. SkillRise는 관련된 인스턴스를 점진적으로 어려운 순서로 구성하고, 하나의 정책을 사용하여 작업을 해결하는 것과 다음 작업에 직접 전달되는 진화하는 기술 문서를 큐레이션하는 것을 번갈아 수행합니다. 분리된 보상 할당은 현재 작업의 결과와 할인된 후속 결과 모두를 사용하여 학습을 감독합니다. ALFWorld, WebShop 및 ScienceWorld에서의 실험 결과, SkillRise는 비교 대상 방법 중에서 가장 높은 Pass@1 성능을 달성했으며, 최고 성능 기준 대비 2.3에서 8.5%p의 향상을 보였습니다. 서로 다른 작업에 대해 학습되었음에도 불구하고, 학습된 큐레이션 정책은 동일한 작업에 대한 반복적인 시도에서도 효과적입니다. 추가 분석 결과, 테스트 시간에 걸쳐 교차 작업에서 확장성이 나타나는 것을 확인했습니다. 즉, 각 작업을 한 번만 수행하더라도 관련 작업의 더 긴 순서로 성능이 향상됩니다. 이러한 경향은 SkillRise가 동일한 작업의 반복적인 샘플링으로부터 얻는 이점보다는 작업 간에 전송 가능한 기술을 재사용한다는 것을 시사합니다. 또한 SkillRise는 여러 단계를 가진 기술 학습 파이프라인의 런타임 오버헤드를 크게 줄이면서도 강력한 성능을 유지합니다. 종합적으로, 이러한 결과는 LLM 에이전트가 작업을 거치며 전송 가능한 기술을 추출, 개선하고 재사용할 수 있는 간단하고 효율적인 학습 패러다임을 제공합니다.

Large language model agents often encounter related yet distinct tasks that share reusable solution patterns. Yet standard agentic reinforcement learning treats tasks as independent episodes, while existing approaches to skill learning either focus on repeated attempts of one task or use pipelines with multiple stages that entangle extraction, retrieval, and execution. We introduce SkillRise, a unified reinforcement learning framework for learning skills across tasks. SkillRise organizes related instances into progressively challenging sequences and uses a single policy to alternate between task solving and curating an evolving skill document passed directly to the next task. Decoupled credit assignment across tasks supervises solving with the current task outcome and curation with discounted downstream outcomes. Experiments on ALFWorld, WebShop, and ScienceWorld show that SkillRise achieves the strongest Pass@1 performance among the compared methods, with gains over the strongest baseline ranging from 2.3 to 8.5 percentage points. Although trained across distinct tasks, its learned curation policy remains effective for repeated attempts on the same task. Further analysis reveals scaling at test time across tasks: performance improves with longer sequences of related tasks even when each task is attempted only once. This trend suggests that SkillRise reuses transferable skills across tasks rather than benefiting from repeated sampling of the same task. SkillRise further retains strong performance while substantially reducing the runtime overhead of skill learning pipelines with multiple stages. Together, these results provide a simple and efficient training paradigm for LLM agents to extract, refine, and reuse transferable skills across tasks.