자기 지식 재표현: 내재적 지식을 활용하여 LLM을 특정 작업에 적응시키는 완전한 로컬 방식

Self Knowledge Re-expression: A Fully Local Method for Adapting LLMs to Tasks Using Intrinsic Knowledge

다음 토큰 예측(NTP) 패러다임은 대규모 언어 모델(LLM)이 자신의 내재적 지식을 표현할 수 있도록 하지만, 이의 순차적인 특성은 특화된, 생성형이 아닌 작업에서의 성능을 제한합니다. 우리는 이러한 성능 저하의 원인을 지식 획득의 부족이 아닌, LLM의 지식 표현 메커니즘에 있다고 판단했습니다. 이를 해결하기 위해, 우리는 작업에 독립적인 새로운 적응 방법인 자기 지식 재표현(Self-Knowledge Re-expression, SKR)을 제안합니다. SKR은 LLM의 출력을 일반적인 토큰 생성에서 벗어나, 매우 효율적이고 작업에 특화된 표현으로 변환합니다. SKR은 완전한 로컬 방식으로, 레이블이 없는 데이터만 사용하며, 인간의 감독이나 모델 증류가 필요하지 않습니다. 대규모 금융 문서 데이터셋에 대한 실험 결과, 정보 검색 작업에서 Recall@1이 40% 이상 향상되었고, 객체 탐지 지연 시간이 76% 이상 감소되었으며, 이상 탐지 AUPRC가 33% 이상 증가했습니다. MMDocRAG 데이터셋에 대한 우리의 결과는 선도적인 검색 모델보다 최소 12.6% 더 우수한 성능을 보였습니다.

While the next-token prediction (NTP) paradigm enables large language models (LLMs) to express their intrinsic knowledge, its sequential nature constrains performance on specialized, non-generative tasks. We attribute this performance bottleneck to the LLMs' knowledge expression mechanism, rather than to deficiencies in knowledge acquisition. To address this, we propose Self-Knowledge Re-expression (SKR), a novel, task-agnostic adaptation method. SKR transforms the LLM's output from generic token generation to highly efficient, task-specific expression. SKR is a fully local method that uses only unannotated data, requiring neither human supervision nor model distillation. Experiments on a large financial document dataset demonstrate substantial improvements: over 40% in Recall@1 for information retrieval tasks, over 76% reduction in object detection latency, and over 33% increase in anomaly detection AUPRC. Our results on the MMDocRAG dataset surpass those of leading retrieval models by at least 12.6%.