DeepPlanning: 검증 가능한 제약 조건이 있는 장기적 에이전트 플래닝 벤치마킹

DeepPlanning: Benchmarking Long-Horizon Agentic Planning with Verifiable Constraints

에이전트 평가의 초점이 장기적(long-horizon) 작업으로 이동하고 있지만, 대부분의 벤치마크는 진정한 계획 능력을 요구하는 전역적 제약 최적화(예: 시간 및 금전적 예산)보다는 여전히 국소적인 단계별 추론을 강조하고 있다. 한편, 기존 LLM 플래닝 벤치마크들은 실제 환경의 전형적인 특징인 능동적 정보 수집과 세밀한 국소적 제약 조건을 충분히 반영하지 못하고 있다. 이를 해결하기 위해 우리는 실용적인 장기 에이전트 플래닝을 위한 도전적인 벤치마크인 DeepPlanning을 소개한다. 이 벤치마크는 능동적 정보 습득, 국소적 제약 추론, 그리고 전역적 제약 최적화를 필요로 하는 수일간의 여행 계획 및 다품목 쇼핑 작업을 포함한다. DeepPlanning을 이용한 평가 결과, 최첨단 에이전트 LLM조차도 이러한 문제 해결에 어려움을 겪는 것으로 나타났으며, 이는 더 나은 효과성-효율성 균형을 달성하기 위해 신뢰할 수 있는 명시적 추론 패턴과 병렬 도구 사용이 중요함을 시사한다. 또한 오류 분석을 통해 장기적 계획 범위에서 에이전트 LLM을 개선하기 위한 유망한 방향을 제시한다. 우리는 향후 연구를 지원하기 위해 코드와 데이터를 오픈소스로 공개한다.

While agent evaluation has shifted toward long-horizon tasks, most benchmarks still emphasize local, step-level reasoning rather than the global constrained optimization (e.g., time and financial budgets) that demands genuine planning ability. Meanwhile, existing LLM planning benchmarks underrepresent the active information gathering and fine-grained local constraints typical of real-world settings. To address this, we introduce DeepPlanning, a challenging benchmark for practical long-horizon agent planning. It features multi-day travel planning and multi-product shopping tasks that require proactive information acquisition, local constrained reasoning, and global constrained optimization. Evaluations on DeepPlanning show that even frontier agentic LLMs struggle with these problems, highlighting the importance of reliable explicit reasoning patterns and parallel tool use for achieving better effectiveness-efficiency trade-offs. Error analysis further points to promising directions for improving agentic LLMs over long planning horizons. We open-source the code and data to support future research.