LatentSkill: 인텍스트(In-Context) 텍스트 기반 기술을 가중치 기반 잠재 기술로 변환하여 LLM 에이전트에 적용하는 방법

LatentSkill: From In-Context Textual Skills to In-Weight Latent Skills for LLM Agents

에이전트 시스템은 재사용 가능한 작업 절차를 인코딩하기 위해 점점 더 많은 텍스트 기반 기술을 사용하고 있지만, 이러한 기술을 매 단계마다 프롬프트에 삽입하면 상당한 컨텍스트 오버헤드가 발생하고 기술 내용이 일반 텍스트로 노출됩니다. 본 논문에서는 사전 학습된 하이퍼네트워크를 통해 텍스트 기반 기술을 즉시 사용할 수 있는 LoRA 어댑터로 변환하는 프레임워크인 LatentSkill을 제시합니다. LatentSkill은 기술 지식을 컨텍스트 공간 대신 가중치 공간에 저장하여 각 단계별 기술 토큰의 사용량을 줄이면서도 모듈화된 로딩, 확장 및 조합 기능을 유지합니다. ALFWorld와 Search-QA 데이터셋에서 LatentSkill은 해당 인텍스트 기반 기술 기준 모델보다 우수한 성능을 보였으며, 동시에 사전 채움(prefill) 토큰의 사용량을 크게 줄였습니다. 구체적으로, LatentSkill은 ALFWorld에서 기존 방식 대비 21.4% 및 13.4% 더 높은 성공률을 달성했으며, 이는 64.1% 적은 사전 채움 토큰으로 이루어졌습니다. 또한 Search-QA 데이터셋에서는 정확 일치(exact match) 성능이 3.0 포인트 향상되었으며, 기술 관련 토큰의 오버헤드가 72.2% 감소했습니다. 추가 분석 결과, 생성된 기술 LoRA는 구조적인 의미론적 기하학적 형태를 가지며, LoRA 스케일링 계수를 통해 정확하게 제어할 수 있으며, 기술 구성 요소가 정렬될 경우 파라미터 공간 연산을 통해 조합할 수 있습니다. 이러한 결과는 가중치 기반 기술이 LLM 에이전트의 기능을 확장하는 데 효율적이고 모듈화된 방식이며, 동시에 정보 노출 위험을 줄일 수 있음을 시사합니다.

Agent systems increasingly use textual skills to encode reusable task procedures, but injecting these skills into the prompt at every step incurs substantial context overhead and exposes skill content as plaintext. We present LatentSkill, a framework that converts textual skills into plug-and-play LoRA adapters through a pretrained hypernetwork. LatentSkill stores skill knowledge in weight space rather than context space, removing per-step skill tokens while preserving modular loading, scaling, and composition. On ALFWorld and Search-QA, LatentSkill outperforms the corresponding in-context skill baseline while using substantially fewer prefill tokens: it improves ALFWorld success by 21.4 and 13.4 points on the seen and unseen splits with 64.1% fewer prefill tokens, and improves Search-QA exact match by 3.0 points with 72.2% lower skill-token overhead. Further analysis shows that generated skill LoRAs form a structured semantic geometry, can be precisely controlled via the LoRA scaling coefficient, and can be composed through parameter-space arithmetic when skill components are aligned. These findings suggest that weight-space skills provide an efficient, modular, and less exposed substrate for extending LLM agents.