단순한 환경 확장 이상: 다중 모드 에이전트 학습을 위한 효과적인 환경 분포 설계

Beyond Simply Environment Scaling: Designing Effective Environment Distributions for Multimodal Agent Learning

최근 연구에서는 대규모 다중 모드 환경 풀을 구축하여 에이전트를 훈련하는 방법들이 제시되었습니다. 그러나, 다중 모드 환경의 수를 단순히 늘리는 것만으로는 항상 성능 향상으로 이어지지 않는다는 것을 확인했습니다. 우리는 일련의 실험을 통해 현재 다중 모드 환경 분포의 한계를 분석합니다. 이러한 연구 결과를 바탕으로, 우리는 **다양성**과 **난이도 구조**라는 두 가지 측면에서 더욱 효과적인 훈련 환경 분포를 구축하는 방법을 탐구합니다. 다양성을 확보하기 위해, 에이전트의 능력에 맞는 환경을 선택하는 **능력 기반 환경 선택 (Ability-aware Environment Selection, AES)** 기법을 제안합니다. 난이도 구조를 설계하기 위해, **계층적 난이도 커리큘럼 (Hierarchical Difficulty Curriculum, HDC)**을 제안하며, 이는 두 가지 난이도 수준(제약 완화 및 상태 규모 진행)을 통해 커리큘럼 학습을 구성합니다. 실험 결과는 AES와 HDC가 다중 모드 에이전트 훈련에 효과적으로 기여한다는 것을 보여줍니다.

Recent works train agents by constructing large-scale multimodal environment pools. However, we find that simply increasing the number of multimodal environments does not always benefit. We further analyze the limitations in current multimodal environment distributions through a series of experiments. Based on these findings, we study how to build more effective training environment distributions from two dimensions: **diversity** and **difficulty structure**. For diversity, we propose **Ability-aware Environment Selection (AES)** to obtain diverse environment sets. For difficulty structure, we propose **Hierarchical Difficulty Curriculum (HDC)**, which organizes curriculum learning through two difficulty levels: harness weakening and state-scale progression. Experiments show that AES and HDC effectively improve multimodal agent training.