SWE-Spot: 저장소 중심 학습을 통한 소규모 저장소 전문가 구축

SWE-Spot: Building Small Repo-Experts with Repository-Centric Learning

개인 정보 보호 및 자원 제약 환경에서 코딩 에이전트를 활용하기 위해서는 강력한 오픈 소스 소규모 언어 모델(SLM)이 필요합니다. 그러나 이러한 SLM은 최첨단 대규모 모델과 달리 복잡하고 익숙하지 않은 코드 베이스에 대한 추론 시 강력한 일반화 능력이 부족하다는 근본적인 한계를 가지고 있습니다. 기존의 작업 중심 학습(TCL) 패러다임은 다양한 저장소에 걸쳐 학습 데이터를 분산시키지만, 이러한 한계를 극복하지 못합니다. 이에 우리는 저장소 중심 학습(RCL)이라는 새로운 패러다임을 제안합니다. RCL은 수평적인 작업 범위보다 수직적인 저장소 깊이를 우선시하며, SLM이 추론 시 비용이 많이 드는 검색을 통해 이를 복구하려고 하기보다는, 대상 소프트웨어 환경의 "원리"를 매개변수 지식 획득을 통해 내재화해야 한다고 주장합니다. 이 새로운 패러다임을 바탕으로, 우리는 정적인 코드 베이스를 상호 작용적인 학습 신호로 변환하는 네 단계의 저장소 중심 학습 경험을 설계하여 SWE-Spot-4B라는 고도로 압축된 모델 패밀리를 구축했습니다. 이 모델은 저장소 전문 지식을 갖춘 전문가로서 설계되었으며, 기존의 확장 추세를 뛰어넘어 더 큰 오픈 소스 모델(예: Meta의 CWM, Qwen3-Coder-30B)보다 뛰어난 성능을 보였으며, 효율성을 중시하는 상용 모델(예: GPT-4.1-mini, GPT-5-nano)과도 동등하거나 더 나은 성능을 보였습니다. 추가 분석 결과, RCL은 더 높은 학습 샘플 효율성과 낮은 추론 비용을 제공하며, 효율적인 지능을 구축하기 위해서는 일반적인 코딩 능력과 함께 저장소에 대한 깊이 있는 이해가 필수적인 요소임을 강조합니다.

The deployment of coding agents in privacy-sensitive and resource-constrained environments drives the demand for capable open-weight Small Language Models (SLMs). However, they suffer from a fundamental capability gap: unlike frontier large models, they lack the inference-time strong generalization to work with complicated, unfamiliar codebases. We identify that the prevailing Task-Centric Learning (TCL) paradigm, which scales exposure across disparate repositories, fails to address this limitation. In response, we propose Repository-Centric Learning (RCL), a paradigm shift that prioritizes vertical repository depth over horizontal task breadth, suggesting SLMs must internalize the "physics" of a target software environment through parametric knowledge acquisition, rather than attempting to recover it via costly inference-time search. Following this new paradigm, we design a four-unit Repository-Centric Experience, transforming static codebases into interactive learning signals, to train SWE-Spot-4B, a family of highly compact models built as repo-specialized experts that breaks established scaling trends, outperforming open-weight models up to larger (e.g., CWM by Meta, Qwen3-Coder-30B) and surpassing/matching efficiency-focused commercial models (e.g., GPT-4.1-mini, GPT-5-nano) across multiple SWE tasks. Further analysis reveals that RCL yields higher training sample efficiency and lower inference costs, emphasizing that for building efficient intelligence, repository mastery is a distinct and necessary dimension that complements general coding capability.