FNF: 대규모 언어 모델을 위한 기능적 네트워크 지문

FNF: Functional Network Fingerprint for Large Language Models

대규모 언어 모델(LLM)의 개발은 비용이 많이 들고 상당한 상업적 가치를 지닙니다. 결과적으로, 오픈 소스 LLM의 무단 사용을 방지하고 개발자의 지적 재산권을 보호하는 것이 중요한 과제가 되었습니다. 본 연구에서는 기능적 네트워크 활동의 일관성을 기반으로, 의심스러운 LLM이 특정 모델에서 파생되었는지 여부를 감지하는 훈련 없이 적용 가능하고 샘플 효율적인 방법인 기능적 네트워크 지문(FNF)을 제안합니다. 우리는 크기나 구조에 차이가 있더라도 공통의 기원을 공유하는 모델들은 다양한 입력 샘플에 대해 기능적 네트워크 내에서 매우 일관된 신경 활동 패턴을 나타냄을 보여줍니다. 반대로, 서로 다른 데이터로 독립적으로 훈련되거나 다른 목표를 가진 모델들은 그러한 활동 정렬을 유지하지 못합니다. 기존 접근 방식과 달리, 우리의 방법은 검증을 위해 몇 개의 샘플만 필요하며, 모델의 유용성을 유지하고, 일반적인 모델 수정(예: 미세 조정, 가지치기, 파라미터 순열) 및 다양한 아키텍처 및 차원에 대한 비교에도 견고합니다. 따라서 FNF는 LLM 소유자와 제3자에게 LLM 지적 재산을 보호하기 위한 간단하고 비침습적이며 효과적인 도구를 제공합니다. 코드는 https://github.com/WhatAboutMyStar/LLM_ACTIVATION 에서 확인할 수 있습니다.

The development of large language models (LLMs) is costly and has significant commercial value. Consequently, preventing unauthorized appropriation of open-source LLMs and protecting developers' intellectual property rights have become critical challenges. In this work, we propose the Functional Network Fingerprint (FNF), a training-free, sample-efficient method for detecting whether a suspect LLM is derived from a victim model, based on the consistency between their functional network activity. We demonstrate that models that share a common origin, even with differences in scale or architecture, exhibit highly consistent patterns of neuronal activity within their functional networks across diverse input samples. In contrast, models trained independently on distinct data or with different objectives fail to preserve such activity alignment. Unlike conventional approaches, our method requires only a few samples for verification, preserves model utility, and remains robust to common model modifications (such as fine-tuning, pruning, and parameter permutation), as well as to comparisons across diverse architectures and dimensionalities. FNF thus provides model owners and third parties with a simple, non-invasive, and effective tool for protecting LLM intellectual property. The code is available at https://github.com/WhatAboutMyStar/LLM_ACTIVATION.