에이전트 스킬 프레임워크: 산업 환경에서 소규모 언어 모델의 잠재력에 대한 고찰

Agent Skill Framework: Perspectives on the Potential of Small Language Models in Industrial Environments

에이전트 스킬 프레임워크는 GitHub Copilot, LangChain, OpenAI 등 주요 기업의 광범위하고 공식적인 지원을 받고 있으며, 특히 독점 모델에서 문맥 엔지니어링을 개선하고, 환각 현상을 줄이며, 작업 정확도를 높이는 데 뛰어난 성능을 보입니다. 본 연구는 이러한 관찰을 바탕으로, 에이전트 스킬 패러다임이 소규모 언어 모델(SLM)에도 유사한 이점을 제공하는지 조사합니다. 이는 데이터 보안 및 예산 제약으로 인해 공개 API에 지속적으로 의존하기 어려운 산업 환경에서 중요하며, SLM은 종종 매우 특화된 시나리오에서 제한적인 일반화 능력을 보이는 경우가 많기 때문입니다. 본 연구에서는 에이전트 스킬 프로세스의 공식적인 수학적 정의를 제시하고, 다양한 크기의 언어 모델을 여러 사용 사례에 걸쳐 체계적으로 평가합니다. 평가는 두 가지 오픈 소스 작업과 실제 보험 청구 데이터 세트를 포함합니다. 결과에 따르면, 매우 작은 모델은 안정적인 스킬 선택에 어려움을 겪는 반면, 중간 크기의 SLM(약 120억~300억 개의 파라미터)은 에이전트 스킬 접근 방식을 통해 상당한 이점을 얻는 것으로 나타났습니다. 또한, 약 800억 개의 파라미터를 가진 코드 전문 모델은 폐쇄형 소스 기준 모델과 비교 가능한 성능을 달성하면서 GPU 효율성을 향상시켰습니다. 종합적으로, 이러한 결과는 프레임워크의 기능과 제약 사항에 대한 포괄적이고 미묘한 분석을 제공하며, SLM 중심 환경에서 에이전트 스킬을 효과적으로 배포하기 위한 실질적인 통찰력을 제공합니다.

Agent Skill framework, now widely and officially supported by major players such as GitHub Copilot, LangChain, and OpenAI, performs especially well with proprietary models by improving context engineering, reducing hallucinations, and boosting task accuracy. Based on these observations, an investigation is conducted to determine whether the Agent Skill paradigm provides similar benefits to small language models (SLMs). This question matters in industrial scenarios where continuous reliance on public APIs is infeasible due to data-security and budget constraints requirements, and where SLMs often show limited generalization in highly customized scenarios. This work introduces a formal mathematical definition of the Agent Skill process, followed by a systematic evaluation of language models of varying sizes across multiple use cases. The evaluation encompasses two open-source tasks and a real-world insurance claims data set. The results show that tiny models struggle with reliable skill selection, while moderately sized SLMs (approximately 12B - 30B) parameters) benefit substantially from the Agent Skill approach. Moreover, code-specialized variants at around 80B parameters achieve performance comparable to closed-source baselines while improving GPU efficiency. Collectively, these findings provide a comprehensive and nuanced characterization of the capabilities and constraints of the framework, while providing actionable insights for the effective deployment of Agent Skills in SLM-centered environments.