가치와 행동의 연결: 능동적 에이전트의 계층적 프레임워크

Bridging Values and Behavior: A Hierarchical Framework for Proactive Embodied Agents

현재의 에이전트는 종종 수동적인 지시 수행 또는 반응적인 필요 충족에 국한되며, 장기적인 자율적인 행동을 위한 안정적인 고차 가치 프레임워크가 부족하여 동기 부여 갈등을 해결하지 못합니다. 본 연구에서는 고차 가치 스케줄링과 저차원 행동 실행을 분리하는 계층적 인지 아키텍처인 *ValuePlanner*를 소개합니다. *ValuePlanner*는 LLM 기반의 인지 모듈을 사용하여 추상적인 가치 간의 균형을 고려하여 기호적 부분 목표를 생성하며, 이는 고전적인 PDDL 플래너에 의해 실행 가능한 행동 계획으로 변환됩니다. 이 과정은 폐루프 피드백 메커니즘을 통해 개선됩니다. 이러한 자율성을 평가하기 위해서는 작업 성공률 외에도 가치 중심적인 평가 방법이 필요하며, 따라서 우리는 누적 가치 획득, 선호도 일치 및 행동 다양성을 측정하는 가치 중심 평가 세트를 제안합니다. TongSim 가정 환경에서의 실험 결과, *ValuePlanner*는 경쟁적인 가치를 조정하여 지시 수행 및 필요 기반의 기준 모델에서 나타나지 않는 일관성 있는, 장기적인, 자율적인 행동을 생성함을 보여줍니다. 본 연구는 자율 에이전트를 위한 내재적 가치와 실제 행동 간의 연결을 위한 체계적인 접근 방식을 제시합니다.

Current embodied agents are often limited to passive instruction-following or reactive need-satisfaction, lacking a stable, high-order value framework essential for long-term, self-directed behavior and resolving motivational conflicts. We introduce \textit{ValuePlanner}, a hierarchical cognitive architecture that decouples high-level value scheduling from low-level action execution. \textit{ValuePlanner} employs an LLM-based cognitive module to generate symbolic subgoals by reasoning through abstract value trade-offs, which are then translated into executable action plans by a classical PDDL planner. This process is refined via a closed-loop feedback mechanism. Evaluating such autonomy requires methods beyond task-success rates, and we therefore propose a value-centric evaluation suite measuring cumulative value gain, preference alignment, and behavioral diversity. Experiments in the TongSim household environment demonstrate that \textit{ValuePlanner} arbitrates competing values to generate coherent, long-horizon, self-directed behavior absent from instruction-following and needs-driven baselines. Our work offers a structured approach to bridging intrinsic values and grounded behavior for autonomous agents.