자원 제약 환경에서의 자율형 대규모 언어 모델 후속 학습을 위한 협력적 진화

Cooperative Coevolution for Resource-Constrained Agentic LLM Post-Training

도구 사용 능력을 갖춘 대규모 언어 모델(LLM) 에이전트는 긴 다단계 경로를 생성하며, 이는 기울기 기반의 후속 학습에서 많은 메모리를 소모하게 합니다. 진화 전략(ES)은 역전파 없이 전체 파라미터를 사용하여 메모리 효율적인 후속 학습을 가능하게 하며, 궁극적으로는 기울기 기반 강화 학습(RL)의 성능에 필적할 수 있습니다. 그러나 자원 제약 환경에서는 일반적으로 GPU가 몇 개밖에 없으므로, ES의 높은 GPU 시간 요구 사항은 감당하기 어려운 긴 훈련 시간을 초래합니다. 이를 해결하기 위해, 본 논문에서는 전체 파라미터 공간을 저차원의 부분 공간으로 분해하고 협력적으로 탐색하여 최적화 효율성을 향상시키는 협력적 진화 전략(CoPES)을 제안합니다. 우리는 Qwen3.5-4B 도구 사용 에이전트를 수학 문제 해결을 위해 후속 학습했으며, 난이도가 다른 다섯 가지 벤치마크에서 성능을 평가했습니다. 전체 파라미터 GRPO의 최적 검증 지점의 GPU 시간 예산 하에서, CoPES는 GRPO의 검증 정확도 향상 효과의 92%를 회복하는 반면, 일반적인 ES는 67%에 불과합니다. 또한 CoPES의 이론적인 GPU 메모리 요구 사항은 전체 파라미터 GRPO의 8분의 1 미만입니다. 실험 결과, CoPES는 다섯 가지 벤치마크에서 평가된 모든 pass@k 지표에서 일반적인 ES 및 LoRA 기반 GRPO를 꾸준히 능가하는 것으로 나타났습니다. 추가적인 실험은 질문 답변 작업에서도 CoPES의 장점을 보여줍니다. 이러한 결과는 자원 제약 하에서 자율형 LLM 후속 학습에 대한 메모리 요구 사항과 훈련 시간 간의 개선된 균형을 제공합니다. 코드 및 관련 정보는 https://github.com/MetaronWang/CoPES 에서 확인할 수 있습니다.

Tool-using large language model (LLM) agents produce long, multi-turn trajectories, making gradient-based post-training memory-intensive. Evolution strategies (ES) enable memory-efficient full-parameter post-training without backpropagation and can eventually match the performance of gradient-based reinforcement learning (RL). However, resource-constrained settings typically offer only a few GPUs, so the high GPU-hour requirements of ES translate into prohibitively long training times. To address this, we introduce Cooperative Parameter-subspace Evolution Strategy (CoPES), a cooperative coevolutionary method that decomposes the full parameter space into lower-dimensional subspaces and searches over them cooperatively to improve optimization efficiency. We post-train a Qwen3.5-4B tool-using agent for the math task and evaluate it on five benchmarks of varying difficulty. Under the GPU-hour budget of full-parameter GRPO's best validation checkpoint, CoPES recovers 92% of GRPO's validation-accuracy gain, versus 67% for standard ES, while its theoretical GPU memory requirement is less than one-eighth that of full-parameter GRPO. It consistently outperforms standard ES and LoRA-based GRPO on all evaluated pass@k metrics across the five benchmarks. Additional experiments further show the advantage of CoPES on the question-answering task. These results demonstrate an improved trade-off between memory requirements and training time for agentic LLM post-training under resource constraints. The code is open-sourced in https://github.com/MetaronWang/CoPES