SafeGen-LLM: 로봇 시스템의 작업 계획에서 안전 일반화 성능 향상

SafeGen-LLM: Enhancing Safety Generalization in Task Planning for Robotic Systems

로봇 시스템에서 안전이 중요한 작업 계획은 여전히 어려운 과제입니다. 기존 계획 도구는 확장성이 떨어지고, 강화 학습(RL) 기반 방법은 일반화 성능이 좋지 않으며, 기본적인 대규모 언어 모델(LLM)은 안전성을 보장할 수 없습니다. 이러한 문제를 해결하기 위해, 안전 일반화 성능이 뛰어난 대규모 언어 모델인 SafeGen-LLM을 제안합니다. SafeGen-LLM은 작업 계획의 안전성을 향상시킬 뿐만 아니라, 다양한 분야에서 새로운 안전 속성에 대한 일반화 성능도 뛰어납니다. 먼저, 명시적인 안전 제약 조건을 포함하는 다중 영역 계획 도메인 정의 언어 3 (PDDL3) 벤치마크를 구축합니다. 그런 다음, 두 단계의 후속 학습 프레임워크를 도입합니다. 첫 번째 단계는 제약 조건을 준수하는 계획 데이터셋에 대한 지도 미세 조정(SFT)을 통해 계획 구문과 의미를 학습하고, 두 번째 단계는 형식적 검증에서 파생된 세분화된 보상 시스템을 사용하여 안전 정렬을 강화하고, 커리큘럼 학습을 통해 복잡한 작업을 더 잘 처리할 수 있도록 그룹 상대 정책 최적화(GRPO)를 수행합니다. 광범위한 실험 결과, SafeGen-LLM은 강력한 안전 일반화 성능을 달성했으며, 다양한 영역의 계획 작업 및 다양한 입력 형식(예: PDDL 및 자연어)에서 최첨단 독점 모델보다 우수한 성능을 보였습니다.

Safety-critical task planning in robotic systems remains challenging: classical planners suffer from poor scalability, Reinforcement Learning (RL)-based methods generalize poorly, and base Large Language Models (LLMs) cannot guarantee safety. To address this gap, we propose safety-generalizable large language models, named SafeGen-LLM. SafeGen-LLM can not only enhance the safety satisfaction of task plans but also generalize well to novel safety properties in various domains. We first construct a multi-domain Planning Domain Definition Language 3 (PDDL3) benchmark with explicit safety constraints. Then, we introduce a two-stage post-training framework: Supervised Fine-Tuning (SFT) on a constraint-compliant planning dataset to learn planning syntax and semantics, and Group Relative Policy Optimization (GRPO) guided by fine-grained reward machines derived from formal verification to enforce safety alignment and by curriculum learning to better handle complex tasks. Extensive experiments show that SafeGen-LLM achieves strong safety generalization and outperforms frontier proprietary baselines across multi-domain planning tasks and multiple input formats (e.g., PDDLs and natural language).