픽셀에서 디지털 에이전트까지: 강화 학습 환경의 분류 체계 및 기술 동향에 대한 실증 연구

From Pixels to Digital Agents: An Empirical Study on the Taxonomy and Technological Trends of Reinforcement Learning Environments

강화 학습(RL)의 놀라운 발전은 인공 에이전트를 훈련하고 평가하는 데 사용되는 환경과 밀접하게 관련되어 있습니다. 본 연구는 기존의 질적 검토를 넘어, 강화 학습 환경의 진화에 대한 대규모, 데이터 기반의 실증적 조사를 제시합니다. 방대한 양의 학술 문헌을 프로그래밍 방식으로 처리하고 2,000편 이상의 핵심 논문을 엄격하게 분석하여, 우리는 분리된 물리적 시뮬레이션에서 일반화되고 언어 기반의 핵심 에이전트로의 전환을 정량적으로 분석하는 방법론을 제안합니다. 새로운 다차원 분류 체계를 구현하여, 다양한 응용 분야와 요구되는 인지 능력에 대한 벤치마크를 체계적으로 분석했습니다. 자동화된 의미론적 및 통계적 분석을 통해 데이터로 검증된 심오한 패러다임 전환을 밝혀냈습니다. 즉, 강화 학습 분야는 대규모 언어 모델(LLM)에 의해 주도되는 "의미 기반" 생태계와 특정 도메인에 대한 일반화에 중점을 둔 "도메인 특화 일반화" 생태계로 분리되었습니다. 또한, 이러한 상이한 도메인의 "인지적 특징"을 분석하여, 다양한 과제 간의 시너지, 다중 도메인 간의 간섭, 그리고 제로샷 일반화의 근본적인 메커니즘을 밝혀냈습니다. 궁극적으로, 본 연구는 차세대 임베디드 의미 시뮬레이터를 설계하기 위한 엄격하고 정량적인 로드맵을 제공하며, 연속적인 물리적 제어와 고수준 논리적 추론 사이의 간극을 해소합니다.

The remarkable progress of reinforcement learning (RL) is intrinsically tied to the environments used to train and evaluate artificial agents. Moving beyond traditional qualitative reviews, this work presents a large-scale, data-driven empirical investigation into the evolution of RL environments. By programmatically processing a massive corpus of academic literature and rigorously distilling over 2,000 core publications, we propose a quantitative methodology to map the transition from isolated physical simulations to generalist, language-driven foundation agents. Implementing a novel, multi-dimensional taxonomy, we systematically analyze benchmarks against diverse application domains and requisite cognitive capabilities. Our automated semantic and statistical analysis reveals a profound, data-verified paradigm shift: the bifurcation of the field into a "Semantic Prior" ecosystem dominated by Large Language Models (LLMs) and a "Domain-Specific Generalization" ecosystem. Furthermore, we characterize the "cognitive fingerprints" of these distinct domains to uncover the underlying mechanisms of cross-task synergy, multi-domain interference, and zero-shot generalization. Ultimately, this study offers a rigorous, quantitative roadmap for designing the next generation of Embodied Semantic Simulators, bridging the gap between continuous physical control and high-level logical reasoning.