SkillSmith: 매개변수 기반 기술과 텍스트 지식의 통합 학습

SkillSmith: Learning to Compose Parametric Skills and Textual Knowledge

대규모 언어 모델(LLM)로 구동되는 에이전트 시스템은 복잡한 문제를 자율적으로 해결하기 위해 일반적으로 두 가지 주요 메커니즘을 사용합니다. 첫째는 과거 경험으로부터 텍스트 기반 지식과 절차를 합성하고, 둘째는 반복적인 하위 목표에 대한 매개변수(가중치 공간) 기술 라이브러리를 구축하는 것입니다. 현재까지 대부분의 연구에서는 이 두 가지 접근 방식을 독립적으로 다루어 왔습니다. 즉, 텍스트 지식을 구성 및 반성을 통해 체계화하거나, 가중치 공간 병합을 통해 매개변수 기술을 통합합니다. 그 결과, 표적 성능 향상을 위한 텍스트와 모델 가중치의 원활한 통합은 아직 충분히 연구되지 않았습니다. 본 연구에서는 모델 가중치를 LLM이 직접 추론할 수 있는 추가적인 모달리티로 간주하여 이러한 격차를 해소하고자 합니다. 우리는 접두사 조정(prefix-tuning)을 통해 매개변수 학습을 구현하고, 특정 능력과의 관계를 나타내는 풍부한 텍스트 데이터를 함께 입력받아 LLM을 확장했습니다. 이렇게 확장된 LLM인 SkillSmith는 이러한 입력을 합성하여 지시 사항에 따라 매개변수를 생성하며, 목표 기술을 구현하는 새로운 접두사 가중치를 직접 출력합니다. 우리는 우리의 접근 방식이 텍스트만 사용하거나 가중치 공간만 사용하는 기존 방법보다 훨씬 뛰어난 성능을 보임을 보여주며, 단일 모달리티(텍스트 또는 가중치)만을 사용하는 방식으로는 달성할 수 없는 성능 향상을 가능하게 함을 입증했습니다.

Agentic systems driven by large language models (LLMs) regularly feature two key mechanisms to autonomously solve complex problems: synthesizing text-based knowledge and procedures from past experiences and building parametric (weight-space) skill libraries for recurring sub-goals. To date, research has largely treated these as orthogonal pursuits: either organizing textual knowledge through composition and reflection, or consolidating parametric skills via weight-space merging. Consequently, the seamless integration of text and model weights for targeted performance improvements remains largely unexplored. This work bridges this modality gap by treating model weights as an additional modality that an LLM can natively reason over. We instantiate parametric learning via prefix-tuning and augment an LLM to ingest both prefix weights and rich textual data which capture relationships to a target capability. Our augmented LLM, which we call SkillSmith, synthesizes these inputs to perform instruction-steered parametric synthesis, directly outputting new prefix weights that manifest the target skill. We demonstrate that our approach significantly outperforms both text-only and weight-space-only baselines, unlocking performance gains that are out of reach for uni-modal (text-only or weight-only) adaptations.