영향 지도 및 클러스터 기반 스크립트를 활용한 스타크래프트 미세 조작을 위한 계층적 강화 학습

Hierarchical Reinforcement Learning in StarCraft Micromanagement with Influence Maps and Cluster-based Scripts

실시간 전략(RTS) 게임은 광대한 상태-행동 공간과 지속적인 전투 환경에서의 다중 유닛 조정, 그리고 최종 승패 신호에서 발생하는 희소하고 지연된 보상으로 인해 상당한 AI 과제를 제시합니다. 기존 접근 방식은 복잡한 상태 표현의 해석 가능성을 유지하면서 공동 행동의 차원 증가를 관리하는 데 어려움을 겪습니다. 이러한 복잡성은 전통적인 계층 구조가 효과적인 전술 모듈로 작업을 적응적으로 분해하는 데 한계가 있기 때문에 더욱 심화됩니다. 또한, 딥 러닝 모델의 블랙박스 특성과 희소한 보상에 대한 의존성은 제한된 샘플 효율과 의사 결정 투명성 부족으로 이어집니다. 이러한 제약 사항을 해결하기 위해 본 논문에서는 스타크래프트 미세 조작을 위한 영향 지도 해싱 및 클러스터 기반 스크립트를 활용한 계층적 강화 학습 프레임워크인 HRL-IM/CBS를 제안합니다. 영향 지도 해싱은 공간적 제어와 상대적인 이점을 포착하여 전역 전투 상황을 압축된 16진 코드로 인코딩합니다. 클러스터 기반 스크립트는 적응적인 유닛 분할을 통해 동적인 로컬 조정 기능을 제공합니다. 계층적 다중 Q-테이블 아키텍처는 의사 결정을 상위 수준의 클러스터링 전략 선택과 하위 수준의 전술 실행으로 분해하며, 보상 할당은 밀집된 학습 신호를 제공합니다. 6가지 비대칭 시나리오에서의 실험 결과는 투명한 Q-테이블 표현을 통해 향상된 샘플 효율성과 해석 가능성을 제공하면서 기존 딥 RL 모델과 경쟁력 있는 성능을 보여줍니다.

Real-time strategy (RTS) games present significant AI challenges, characterized by expansive state-action spaces arising from multi-unit coordination in continuous battlefields, and sparse delayed rewards stemming from final win/lose signals. Existing approaches face a trade-off between managing the dimensionality explosion of joint actions and maintaining the interpretability of complex state representations. This complexity is further intensified by the limitation of traditional hierarchical structures in adaptively decomposing tasks into effective tactical modules. Such difficulties are compounded by the black-box nature of deep learning models and their reliance on sparse rewards, which together result in limited sample efficiency and a lack of decision-making transparency. To address these limitations, this paper proposes HRL-IM/CBS, a hierarchical reinforcement learning framework with influence map hashing and cluster-based scripts for StarCraft micromanagement. Influence map hashing encodes global battlefield situations into compact hexadecimal codes, capturing spatial control and relative advantage. Cluster-based scripts enable dynamic local coordination through adaptive unit partitioning. The hierarchical multi-Q-table architecture decomposes decision-making into upper-level clustering strategy selection and lower-level tactical execution, with reward allocation providing dense learning signals. Experiments across six asymmetric scenarios demonstrate competitive performance against deep RL baselines while offering advantages in sample efficiency and interpretability through transparent Q-table representations.