망설여질 때, 계획을 세워라: 반응형 강화 학습을 위한 체계적인 소규모 언어 모델 활용

When in Doubt, Plan It Out: Committed Small Language Model Deliberation for Reactive Reinforcement Learning

강화 학습(RL) 정책은 종종 명시적인 숙고 과정의 부족으로 인해 익숙하지 않은 환경에서 성능 저하를 겪습니다. 본 연구에서는 빠르고 반응적인 RL 정책과 느리고 숙고적인 소규모 언어 모델(SLM) 계획기를 결합한 하이브리드 아키텍처인 Plan, Align, Commit, Think (PACT)를 제안합니다. PACT는 SLM을 비동기적으로 호출하여 후보 행동 계획을 생성하고 검증합니다. 계획이 시뮬레이션을 통해 안전하고 실현 가능하며 완전하다는 것이 확인되면, RL 정책을 재학습하거나 수정하지 않고 해당 계획을 직접 실행합니다. 세 가지 난이도가 증가하는 FrozenLake 환경에서 PACT를 평가한 결과, 모든 기준 모델보다 뛰어난 성능을 보였으며, 2B 파라미터의 SLM 기반 모델만을 사용하여 이를 달성했습니다. 이는 숙고적인 계획과 반응형 실행이 개별적으로 사용되는 것보다 이러한 설정에서 더 강력한 효과를 발휘한다는 것을 시사합니다.

Reinforcement Learning (RL) policies often degrade in unfamiliar environments because they lack explicit deliberation. We propose Plan, Align, Commit, Think (PACT), a hybrid architecture that combines a fast, reactive RL policy with a slow, deliberative Small Language Model (SLM) planner. PACT invokes the SLM asynchronously to generate and validate candidate action plans. Once a plan is verified through simulation as safe, feasible, and complete, it is executed directly, bypassing the RL policy without retraining or modifying it. Evaluated on three FrozenLake configurations of increasing difficulty, PACT outperforms all baselines while relying on a 2B-parameter SLM backbone, suggesting that deliberative planning and reactive execution are more powerful in concert than either is alone in these settings.