고주파 의사결정을 위한 LLM: 정규화된 액션-리워드 기반 일관성 정책 최적화

LLMs for High-Frequency Decision-Making: Normalized Action Reward-Guided Consistency Policy Optimization

대규모 언어 모델(LLM)은 순차적 의사결정 에이전트 개발의 핵심 요소이지만, 고주파 의사결정 작업에는 고유한 한계점을 가지고 있습니다. 기존 연구는 주로 낮은 빈도로 실행되고 상태 공간에 큰 의미 차이가 있는 이산적인 에이전트 시나리오(예: 가정 계획)에 초점을 맞추고 있습니다. 이러한 방법은 고주파 의사결정 작업에서 제한적인 성능을 보입니다. 왜냐하면 이러한 작업에서 사용되는 고정밀 수치 상태 정보는 빈번하게 업데이트되지만, 미미한 변화만 발생하며, 학습된 하위 작업과 전체 작업 간의 정책 불일치를 야기하기 때문입니다. 이러한 문제를 해결하기 위해, 본 논문에서는 정규화된 액션-리워드 기반 일관성 정책 최적화(NAR-CP) 방법을 제안합니다. 1) 본 방법은 먼저 후보 액션에 대한 환경 피드백을 통해 정의된 밀도 리워드를 획득하고, 리워드 형성을 위해 정규화를 수행하며, 액션-리워드 정규화가 최적 정책에 영향을 미치지 않는다는 것을 이론적으로 검증합니다. 2) 전체 작업에서 정책 불일치를 줄이기 위해, LLM을 사용하여 하위 관측에 대한 후보 액션을 추론하고, 일관성 손실을 통해 전역 의미 정책과 하위 의미 정책 간의 정확한 정렬을 보장하는 통합 정책을 생성합니다. 전형적인 고주파 작업인 UAV 추격 실험 결과, 본 방법은 독립적인 작업과 통합된 작업 모두에서 우수한 성능을 보이며, 새로운 작업에 대한 뛰어난 일반화 성능을 보여줍니다.

While Large Language Models (LLMs) form the cornerstone of sequential decision-making agent development, they have inherent limitations in high-frequency decision tasks. Existing research mainly focuses on discrete embodied decision scenarios with low-frequency and significant semantic differences in state space (e.g., household planning). These methods suffer from limited performance in high-frequency decision-making tasks, since high-precision numerical state information in such tasks undergoes frequent updates with minimal fluctuations, and exhibiting policy misalignment between the learned sub-tasks and composite tasks. To address these issues, this paper proposes Normalized Action Reward guided Consistency Policy Optimization (NAR-CP). 1) Our method first acquires predefined dense rewards from environmental feedback of candidate actions via reward functions, then completes reward shaping through normalization, and theoretically verifies action reward normalization does not impair optimal policy. 2) To reduce policy misalignment in composite tasks, we use LLMs to infer sub-observation candidate actions and generate joint policies, with consistency loss ensuring precise alignment between global semantic policies and sub-semantic policies. Experiments on UAV pursuit, a typical high-frequency task, show our method delivers superior performance on independent and composite tasks with excellent generalization to unseen tasks.