CARL: 제약 조건 인지 강화 학습을 활용한 LLM 기반 계획 수립

CARL: Constraint-Aware Reinforcement Learning for Planning with LLMs

대규모 언어 모델(LLM)은 강력한 추론 능력과 방대한 세계 지식을 가지고 있지만, 실제 응용 분야에서 신뢰성을 저해하는 방식으로 자주 작업 제약을 위반하는 계획을 생성합니다. 이러한 문제는 계획 생성 과정에서 제약 정보 통합에 대한 체계적인 메커니즘이 부족하기 때문에 발생합니다. 기존 접근 방식은 외부 도구나 작업 분해를 활용하여 이 문제를 완화하려고 시도하지만, 모델 자체의 제약 조건 인식 능력을 향상시키지는 못합니다. 이를 해결하기 위해, LLM의 고유한 제약 조건에 대한 집중도를 강화하도록 설계된 새로운 강화 학습 프레임워크인 Constraint-Aware Reinforcement Learning (CARL)을 제안합니다. CARL은 제한 조건이 있는 입력과 없는 입력 하에서 모델의 출력 분포를 비교하여 제약 조건 준수를 장려하고 위반 시 페널티를 부여하는 제약 조건 인지 보상을 도입합니다. 다양한 강화 학습 프레임워크와 호환되며, 외부 솔버나 최첨단 모델을 필요로 하지 않아 확장 가능하고 완전한 제약 조건 인지 계획 수립이 가능합니다. BlocksWorld, TravelPlanner, T-Eval에 대한 광범위한 실험 결과, CARL은 표준 강화 학습 미세 조정(RFT) 기준선 및 최첨단 추론 모델보다 훨씬 뛰어난 성능을 보이며, 제약 조건 준수에 대한 현저하게 증가된 집중도를 보여줍니다.

Despite their strong reasoning capabilities and extensive world knowledge, Large Language Models (LLMs) frequently generate plans that violate task constraints, undermining their reliability in real-world applications. This deficiency arises from a lack of systematic mechanisms to incorporate constraint information during the generation process. While existing approaches attempt to mitigate this by relying on external tools or task decomposition, they fail to enhance the model's intrinsic constraint awareness. To address this, we propose Constraint-Aware Reinforcement Learning (CARL), a novel RL framework designed to strengthen LLMs' intrinsic focus on constraints. CARL introduces a constraint-aware reward by comparing the model's output distributions under constrained and unconstrained inputs, encouraging constraint focus and penalizing neglect. Compatible with various RL frameworks and requiring no external solvers or top models, CARL enables scalable, end-to-end constraint-aware planning. Extensive experiments on BlocksWorld, TravelPlanner, and T-Eval demonstrate that CARL significantly outperforms standard Reinforcement Fine-Tuning (RFT) baselines and state-of-the-art reasoning models, exhibiting a markedly increased focus on constraints.