기능 인식 기반 중간 학습을 통한 코딩 에이전트 기초 모델의 성능 향상

Function-Aware Fill-in-the-Middle as Mid-Training for Coding Agent Foundation Models

코딩 에이전트는 지속적인 추론 과정에서 외부 도구로부터 반환된 정보를 통합해야 하며, 이는 기존의 코드에 대한 좌우 방향 사전 훈련 방식으로는 충분히 구현되지 않습니다. 본 연구에서는 코딩 에이전트의 동작-관찰-연속 과정이 함수 호출 위치와 구조적으로 동일하다는 점을 발견했습니다. 여기서 호출자는 인자를 전달하고, 피호출자는 다른 곳에서 계산된 값을 반환하며, 후속 코드는 이 값을 활용합니다. 이러한 조건부 구조는 일반적인 코드에서 인터넷 규모로 존재합니다. 우리는 프로그램 의존성 그래프 분석과 복잡도-추론 가능성이라는 두 가지 기준을 사용하여 선택된 함수를 마스킹하는 자기 지도 학습 목표인 기능 인식 기반 중간 채우기(FIM) 방법을 통해 이를 활용했습니다. Qwen2.5-Coder-Instruct (7B/14B) 및 Qwen3-8B 모델을 968개의 GitHub 저장소에서 추출한 26억 토큰 규모의 정제된 데이터셋으로 중간 학습을 수행하고, 기존의 에이전트 후처리 파이프라인을 적용했습니다. 중간 학습은 7B/14B 모델에서 SWE-Bench-Verified를 각각 +2.8/+3.0만큼 향상시키고, Qwen3-8B 모델에서는 +3.2만큼 향상시켰습니다. 또한 SWE-Bench-Lite에서도 동일한 모델에서 각각 +3.7/+4.0/+5.4의 성능 향상을 보였습니다. 이러한 성능 향상은 두 가지 후처리 파이프라인(R2E-Gym, SWE-Smith)과 Qwen2.5 기반이 아닌 모델(SWE-Lego를 사용한 Qwen3-8B)에서도 나타났습니다. 중간 학습은 특정 도메인 내에서의 성능 향상뿐만 아니라, 에이전트 후처리 과정에서 발생하는 비에이전트 코딩 작업(예: LiveCodeBench) 및 비코딩 도구 활용 벤치마크(tau-bench, BFCL)의 성능 저하를 완화하는 효과도 있습니다. 중간 학습 데이터셋이 Python 코드만 포함되어 있음에도 불구하고, 함수 호출에 대한 유도 편향은 후처리 과정에서도 유지되며 일관된 성능 향상을 가져옵니다.

Coding agents must integrate external tool returns into ongoing reasoning - a capability that standard left-to-right pretraining on code exposes only in its forward direction. We observe that the action-observation-continuation loop of a coding agent is structurally isomorphic to a function call site, where a caller binds arguments, a callee returns a value computed elsewhere, and downstream code consumes that value. This conditioning structure exists at internet scale in ordinary code. We exploit it through function-aware fill-in-the-middle (FIM) mid-training: a self-supervised objective that masks functions selected via program dependency graph analysis and a complexity-inferability double criterion. We mid-train Qwen2.5-Coder-Instruct (7B/14B) and Qwen3-8B on a 2.6B-token decontaminated corpus drawn from 968 GitHub repositories, then apply existing agentic post-training pipelines. Mid-training improves SWE-Bench-Verified by +2.8/+3.0 at 7B/14B and by +3.2 on Qwen3-8B; SWE-Bench-Lite gains are +3.7/+4.0/+5.4 on the same models. The improvement holds across two post-training pipelines (R2E-Gym, SWE-Smith) and on a non-Qwen2.5 base (Qwen3-8B with SWE-Lego). Beyond in-domain gains, mid-training also mitigates the capability erosion that agentic post-training otherwise inflicts on non-agent coding (e.g., LiveCodeBench) and non-coding tool-use benchmarks (tau-bench, BFCL): although the mid-training corpus contains Python code only, the function-call inductive bias survives post-training and yields consistent gains.