에이전트 스킬 프레임워크: 산업 환경에서 소형 언어 모델의 잠재력에 대한 관점

Agent Skill Framework: Perspectives on the Potential of Small Language Models in Industrial Environments

GitHub Copilot, LangChain, OpenAI와 같은 주요 기업들이 널리 공식적으로 지원하는 에이전트 스킬(Agent Skill) 프레임워크는 컨텍스트 엔지니어링을 개선하고 환각 현상을 줄이며 작업 정확도를 높임으로써, 특히 독점 모델에서 우수한 성능을 발휘한다. 이러한 관찰을 바탕으로, 본 연구에서는 에이전트 스킬 패러다임이 소형 언어 모델(SLM)에도 유사한 이점을 제공하는지 확인하기 위한 조사를 수행했다. 이 질문은 데이터 보안 및 예산 제약 요건으로 인해 퍼블릭 API에 지속적으로 의존하는 것이 불가능하고, SLM이 고도로 맞춤화된 시나리오에서 종종 제한적인 일반화 성능을 보이는 산업 현장에서 특히 중요하다. 본 연구는 에이전트 스킬 프로세스에 대한 형식적인 수학적 정의를 소개하고, 이어 여러 사용 사례에 걸쳐 다양한 크기의 언어 모델에 대한 체계적인 평가를 진행한다. 평가에는 두 가지 오픈 소스 작업과 실제 보험 청구 데이터셋이 포함된다. 연구 결과, 초소형 모델은 신뢰할 수 있는 스킬 선택에 어려움을 겪는 반면, 중간 크기의 SLM(약 120억~300억 파라미터)은 에이전트 스킬 접근 방식으로부터 상당한 이점을 얻는 것으로 나타났다. 또한, 약 800억 파라미터 규모의 코드 특화 모델들은 GPU 효율성을 개선하면서도 비공개 소스 베이스라인과 유사한 성능을 달성했다. 종합적으로 이러한 연구 결과는 프레임워크의 기능과 제약 사항에 대한 포괄적이고 상세한 특성을 규명하는 동시에, SLM 중심 환경에서 에이전트 스킬을 효과적으로 배포하기 위한 실질적인 인사이트를 제공한다.

Agent Skill framework, now widely and officially supported by major players such as GitHub Copilot, LangChain, and OpenAI, performs especially well with proprietary models by improving context engineering, reducing hallucinations, and boosting task accuracy. Based on these observations, an investigation is conducted to determine whether the Agent Skill paradigm provides similar benefits to small language models (SLMs). This question matters in industrial scenarios where continuous reliance on public APIs is infeasible due to data-security and budget constraints requirements, and where SLMs often show limited generalization in highly customized scenarios. This work introduces a formal mathematical definition of the Agent Skill process, followed by a systematic evaluation of language models of varying sizes across multiple use cases. The evaluation encompasses two open-source tasks and a real-world insurance claims data set. The results show that tiny models struggle with reliable skill selection, while moderately sized SLMs (approximately 12B - 30B) parameters) benefit substantially from the Agent Skill approach. Moreover, code-specialized variants at around 80B parameters achieve performance comparable to closed-source baselines while improving GPU efficiency. Collectively, these findings provide a comprehensive and nuanced characterization of the capabilities and constraints of the framework, while providing actionable insights for the effective deployment of Agent Skills in SLM-centered environments.