RandMark: 시각 기반 모델의 무작위 워터마킹에 대한 연구

RandMark: On Random Watermarking of Visual Foundation Models

대규모 및 다양한 데이터 세트로 훈련된 시각 기반 모델(VFMs)은 다양한 컴퓨터 비전 작업에서 뛰어난 성능과 효율성을 달성하기 위해 미세 조정될 수 있습니다. 데이터 수집 및 훈련에 드는 높은 계산 비용으로 인해 이러한 모델은 귀중한 자산이며, 이러한 이유로 일부 VFM 소유자는 지적 재산권을 보호하기 위해 라이선스와 함께 이러한 모델을 배포합니다. 본 논문에서는 홀드아웃 이미지 세트의 내부 표현에 디지털 워터마크를 임베딩하기 위해 작은 인코더-디코더 네트워크를 활용하는 시각 기반 모델의 소유권 검증 방법을 제안합니다. 이 방법은 무작위 워터마크 임베딩을 기반으로 하며, 워터마크 통계는 워터마크가 포함된 모델의 복제본에서 검출될 수 있습니다. 이론적 및 실험적으로, 제안된 방법은 워터마크가 없는 모델에 대해 낮은 오탐 확률을, 워터마크가 있는 모델에 대해 낮은 오식별 확률을 제공한다는 것을 입증했습니다.

Being trained on large and diverse datasets, visual foundation models (VFMs) can be fine-tuned to achieve remarkable performance and efficiency in various downstream computer vision tasks. The high computational cost of data collection and training makes these models valuable assets, which motivates some VFM owners to distribute them alongside a license to protect their intellectual property rights. In this paper, we propose an approach to ownership verification of visual foundation models that leverages a small encoder-decoder network to embed digital watermarks into an internal representation of a hold-out set of input images. The method is based on random watermark embedding, which makes the watermark statistics detectable in functional copies of the watermarked model. Both theoretically and experimentally, we demonstrate that the proposed method yields a low probability of false detection for non-watermarked models and a low probability of false misdetection for watermarked models.