마트료시카 에이전트: 장기 호라이즌 머신러닝 엔지니어링을 위한 하위 에이전트 분해

Matryoshka Agent: Unfolding Sub-Agents for Long-Horizon Machine Learning Engineering

머신러닝 엔지니어링(MLE) 작업은 반복적인 문제 해결 및 개선 과정을 통해 장기간에 걸쳐 의사 결정을 내려야 하며, 이는 비용이 많이 들고 피드백 기반의 환경 상호 작용을 필요로 합니다. 이러한 작업에 단일 에이전트를 개발하고 훈련하는 것은 근본적으로 어려운 문제입니다. 왜냐하면 에이전트는 매우 길고 노이즈가 많은 컨텍스트를 동시에 관리하고, 광범위한 솔루션 공간을 탐색하며, 제한된 모델 용량과 컴퓨팅 예산 내에서 효과적인 성능을 유지해야 하기 때문입니다. 이러한 문제점을 해결하기 위해, 우리는 복잡한 장기 호라이즌 작업에 대한 통합 계층적 에이전트 프레임워크인 Matryoshka Agent를 제안합니다. Matryosh카 에이전트는 에이전트 기반 문제 해결을 조정된 의사 결정 및 실행 계층으로 분해합니다. 고수준 Orchestrator는 간결하고 장기적인 탐색 상태를 유지하며 전략적 지침을 내리고, 하위 레벨 Sub-Agents는 표준화된 Tool 인터페이스를 통해 직접 환경 상호 작용을 통해 구체적인 솔루션 시도를 실행합니다. 이러한 설계는 전략적 탐색과 비용이 많이 드는 실행을 분리하여 장기 컨텍스트 추론의 부담을 크게 줄이고 효율적인 반복 개선을 가능하게 합니다. 또한, Matryoshka Agent를 위한 효율적인 훈련 패러다임을 개발했습니다. 다양한 모델 유형 및 규모를 가진 광범위한 MLE 작업에 대한 실험 결과는 Matryoshka Agent가 장기 호라이즌 MLE 작업 및 복잡한 에이전트 기반 문제 해결을 위한 효과적이고 확장 가능한 패러다임이라는 것을 보여줍니다. 특히, Matryosh카 에이전트는 Qwen3-4B-Instruct가 o4-mini와 유사한 Orchestrator 성능을 달성할 수 있도록 합니다. Matryoshka Agent를 Qwen3-30B-Coder에 적용하면 최대 36.7%의 상대적 성능 향상을 얻을 수 있습니다.

Machine learning engineering (MLE) tasks require long-horizon decision making over iterative solution debugging and refinement, under expensive and feedback-driven environment interactions. Developing and training a monolithic agent for such tasks is fundamentally challenging, as it must simultaneously manage extremely long and noisy contexts, explore vast solution spaces, and remain effective under limited model capacity and computational budgets. To address these challenges, we propose Matryoshka Agent, a unified hierarchical agent framework for complex long-horizon tasks. Matryoshka Agent decomposes agentic problem solving into a coordinated hierarchy of decision making and execution: a high-level Orchestrator maintains compact, long-horizon exploration states and issues strategic instructions, while lower-level Sub-Agents execute concrete solution attempts through direct environment interaction, mediated by standardized Tool interface. This design decouples strategic exploration from costly execution, substantially reducing the burden of long-context reasoning and enabling efficient iterative refinement. We further develop an efficient training paradigm for Matryoshka Agent. Experimental results on a broad range of MLE tasks with diverse model types and scales demonstrate that Matryoshka Agent is an effective and scalable paradigm for long-horizon MLE tasks and complex agentic problem solving. Notably, Matryoshka Agent enables Qwen3-4B-Instruct to reach Orchestrator performance comparable to o4-mini. Applying Matryoshka Agent to Qwen3-30B-Coder results in at most 36.7% relative performance gain.