경험의 시대, 뒤처지는 언어 기반 시행착오

Language-based Trial and Error Falls Behind in the Era of Experience

대규모 언어 모델(LLM)은 언어 기반 에이전트 작업에서 탁월한 성능을 보이지만, 미지의 비언어적 환경(예: 기호 또는 공간 작업)에 대한 적용 가능성은 여전히 제한적이다. 기존 연구들은 이러한 성능 격차의 원인을 사전 학습 분포와 테스트 분포 간의 불일치로 보았다. 본 연구에서는 주된 병목 현상이 탐색에 드는 막대한 비용임을 입증한다. 이러한 과제를 숙달하려면 광범위한 시행착오가 필요한데, 고차원 의미 공간에서 작동하는 거대 파라미터 LLM에게는 계산적으로 감당하기 어려운 수준이다. 이를 해결하기 위해 우리는 탐색(exploration)과 활용(exploitation)을 분리하는 새로운 프레임워크인 SCOUT(Sub-Scale Collaboration On Unseen Tasks)를 제안한다. 우리는 경량 "스카우트"(예: 소형 MLP)를 활용하여 LLM을 훨씬 능가하는 속도와 규모로 환경 역학을 조사한다. 수집된 궤적은 지도 미세 조정(SFT)을 통해 LLM을 부트스트랩하는 데 사용되며, 이어 다중 턴 강화 학습(RL)을 통해 잠재된 세계 지식을 활성화한다. 실증적으로 SCOUT는 Qwen2.5-3B-Instruct 모델이 평균 점수 0.86을 달성하게 하여, Gemini-2.5-Pro(0.60)를 포함한 독점 모델들을 크게 능가하는 동시에 GPU 시간 소모를 약 60% 절감했다.

While Large Language Models (LLMs) excel in language-based agentic tasks, their applicability to unseen, nonlinguistic environments (e.g., symbolic or spatial tasks) remains limited. Previous work attributes this performance gap to the mismatch between the pretraining distribution and the testing distribution. In this work, we demonstrate the primary bottleneck is the prohibitive cost of exploration: mastering these tasks requires extensive trial-and-error, which is computationally unsustainable for parameter-heavy LLMs operating in a high dimensional semantic space. To address this, we propose SCOUT (Sub-Scale Collaboration On Unseen Tasks), a novel framework that decouples exploration from exploitation. We employ lightweight "scouts" (e.g., small MLPs) to probe environmental dynamics at a speed and scale far exceeding LLMs. The collected trajectories are utilized to bootstrap the LLM via Supervised Fine-Tuning (SFT), followed by multi-turn Reinforcement Learning (RL) to activate its latent world knowledge. Empirically, SCOUT enables a Qwen2.5-3B-Instruct model to achieve an average score of 0.86, significantly outperforming proprietary models, including Gemini-2.5-Pro (0.60), while saving about 60% GPU hours consumption.