파인튜닝 경로를 통한 일관된 지식 진화를 기반으로 한 모델 계보 검증

Attesting Model Lineage by Consisted Knowledge Evolution with Fine-Tuning Trajectory

딥러닝에서 파인튜닝 기술은 모델 간에 새로운 계보 관계를 형성합니다. 이러한 계보는 모델 재배포 금지 및 모델 출처 위조와 같은 보안 문제를 해결하는 데 유망한 관점을 제공하며, 특히 강력한 계보 검증 메커니즘이 부족한 공개 모델 라이브러리에서 더욱 중요합니다. 기존의 모델 계보 탐지 방법은 주로 정적인 아키텍처 유사성에 의존하는데, 이는 실제 계보 관계를 나타내는 동적인 지식 진화를 포착하기에 충분하지 않습니다. 인간 진화의 유전적 메커니즘에서 영감을 받아, 우리는 지식 진화 및 매개변수 수정의 공동 경로를 검증하여 모델 계보 검증 문제를 해결합니다. 이를 위해, 우리는 새로운 모델 계보 검증 프레임워크를 제안합니다. 우리 프레임워크에서, 모델 편집을 사용하여 파인튜닝으로 인해 발생하는 매개변수 수준의 변경 사항을 정량화합니다. 그 후, 우리는 새로운 지식 벡터화 메커니즘을 도입하여, 편집된 모델 내의 진화된 지식을 프로브 샘플의 도움을 받아 간결한 표현으로 변환합니다. 이러한 프로빙 전략은 다양한 유형의 모델 패밀리에 맞게 조정됩니다. 이러한 임베딩은 모델 간의 지식 관계의 산술적 일관성을 검증하는 기반을 제공하여, 모델 계보의 강력한 검증을 가능하게 합니다. 광범위한 실험 결과는 실제 환경의 다양한 적대적 시나리오에서 우리 접근 방식의 효과와 견고성을 입증합니다. 우리의 방법은 분류기, 확산 모델 및 대규모 언어 모델을 포함한 다양한 유형의 모델에 대해 일관된 계보 검증을 달성합니다.

The fine-tuning technique in deep learning gives rise to an emerging lineage relationship among models. This lineage provides a promising perspective for addressing security concerns such as unauthorized model redistribution and false claim of model provenance, which are particularly pressing in \textcolor{blue}{open-weight model} libraries where robust lineage verification mechanisms are often lacking. Existing approaches to model lineage detection primarily rely on static architectural similarities, which are insufficient to capture the dynamic evolution of knowledge that underlies true lineage relationships. Drawing inspiration from the genetic mechanism of human evolution, we tackle the problem of model lineage attestation by verifying the joint trajectory of knowledge evolution and parameter modification. To this end, we propose a novel model lineage attestation framework. In our framework, model editing is first leveraged to quantify parameter-level changes introduced by fine-tuning. Subsequently, we introduce a novel knowledge vectorization mechanism that refines the evolved knowledge within the edited models into compact representations by the assistance of probe samples. The probing strategies are adapted to different types of model families. These embeddings serve as the foundation for verifying the arithmetic consistency of knowledge relationships across models, thereby enabling robust attestation of model lineage. Extensive experimental evaluations demonstrate the effectiveness and resilience of our approach in a variety of adversarial scenarios in the real world. Our method consistently achieves reliable lineage verification across a broad spectrum of model types, including classifiers, diffusion models, and large language models.