SkillSight: 공유된 설명 방식을 통해 정확한 기술 검색을 구현하는 방법

SkillSight: Seeing Through Shared Descriptions for Accurate Skill Retrieval

대규모 언어 모델 에이전트가 점점 더 많은 양의 기술 라이브러리에 접근함에 따라, 올바른 기술을 검색하는 것은 신뢰할 수 있는 기능 선택 및 실행에 매우 중요해졌습니다. 기존 검색 시스템은 종종 기술 설명을 일반적인 문서로 취급하여, 공유된 설명 패턴에서 발생하는 정형화된 구조를 간과합니다. 이러한 구조는 필요한 기능을 구별하는 데 거의 도움이 되지 않으면서도 관련성 점수에 영향을 미칩니다. 본 연구에서는 이러한 공유된 설명 배경이 밀집된 관련성 점수를 유발하고, 쿼리와 기술 문서 간의 에너지 격차를 크게 만들며, 작업과 관련된 신호를 가린다는 것을 보여줍니다. 이러한 관찰을 바탕으로, 우리는 추가적인 학습 없이 공유된 배경 정보를 의미론적 및 어휘적 공간에서 보정하는 학습이 필요 없는 검색 프레임워크인 SkillSight를 제안합니다. 의미론적 배경 보정은 IDF로 식별된 일반 토큰으로부터 배경 서브공간을 추정하여 공유된 설명 패턴으로 인한 유사성을 줄입니다. 또한, 어휘적 증거 보정은 공유된 배경 토큰의 가중치를 낮춰 구체적인 기능에 대한 차등화된 단어 수준의 증거를 회복합니다. SRA-Bench 및 SkillBench-Supp 데이터셋에서의 실험 결과는 모든 검색 지표에서 일관된 성능 향상을 보여주며, SkillSight는 기존 밀집 검색 시스템보다 Recall@10을 최대 20.21% 포인트 개선했습니다. 엔드 투 엔드 평가에서는 SkillSight가 세 가지 에이전트 모델 모두에서 가장 우수한 전체 성능을 보였으며, LLM Selection보다 최대 4.97% 포인트 더 높은 성능을 나타냈습니다. 또한, Dense + Reranker 기준 시스템보다 최대 1,248배 빠른 속도를 제공합니다. 이러한 결과는 공유된 설명 배경이 기술 검색에서의 중요한 편향 요인임을 보여주며, 명시적으로 이를 보정하면 추가적인 학습 없이 정확하고 효율적인 기술 선택을 가능하게 한다는 것을 입증합니다. 저희의 코드는 https://github.com/xiaojinying/SkillSight 에서 확인할 수 있습니다.

As large language model agents gain access to increasingly large skill libraries, retrieving the right skill becomes critical to reliable capability selection and execution. Existing retrievers often treat skill descriptions as ordinary documents, overlooking their highly regular structure: shared descriptive patterns recur across many skills while providing little evidence for distinguishing the required capability. We show that this shared descriptive background systematically contributes to dense relevance scores, induces a pronounced energy gap between queries and skill documents, and obscures task-relevant signals. Based on this observation, we propose SkillSight, a training-free retrieval framework that calibrates shared background in both semantic and lexical spaces. Semantic Background Calibration estimates a background subspace from generic tokens identified by IDF, reducing similarity induced by shared descriptive patterns, while Lexical Evidence Calibration downweights shared background tokens to recover discriminative token-level evidence. Experiments on SRA-Bench and SkillBench-Supp demonstrate consistent improvements across retrieval metrics, with SkillSight improving Recall@10 by up to 20.21 percentage points over the original dense retriever. In end-to-end evaluation, SkillSight achieves the best overall performance across three agent models and outperforms LLM Selection by up to 4.97 percentage points. It is also up to 1,248 times faster than the Dense + Reranker baseline. These results identify shared descriptive background as a key source of bias in skill retrieval and demonstrate that explicitly calibrating it enables accurate and efficient skill selection without additional training. Our code is available at https://github.com/xiaojinying/SkillSight.