FARI: 디퓨전 모델 워터마킹을 위한 강력한 단일 단계 역변환

FARI: Robust One-Step Inversion for Watermarking in Diffusion Models

역변환 기반 워터마킹은 디퓨전 모델로 생성된 이미지의 진위 여부를 확인하는 유망한 방법이지만, 속도가 느리고 오류가 발생하기 쉬운 역변환 때문에 실제 사용에 어려움이 있습니다. 워터마킹 환경에서 가장 큰 문제는 외부 왜곡에 대한 강건성(robustness)인데, 기존 방식들은 내부 자르기(truncation) 오류를 과도하게 최적화하며, 이 오류는 샘플러 단계 크기에 따라 증가하므로 필연적으로 많은 계산량(NFE, number of function evaluations)이 필요한 환경에서만 작동하여 속도와 강건성이라는 상반된 요구 사항을 충족하기 어렵습니다. 본 연구에서는 다음과 같은 두 가지 중요한 관찰 결과를 얻었습니다. (i) 역변환 경로의 곡률은 순방향 생성 경로보다 훨씬 낮아 압축성이 뛰어나고 적은 계산량으로 근사할 수 있습니다. (ii) 워터마크 검증을 위한 역변환 과정에서 속도와 자르기 오류 간의 균형이 중요하지 않은데, 이는 외부 왜곡이 전체 오류에 더 큰 영향을 미치기 때문입니다. 더 빠른 역변환기는 다음과 같은 이점을 제공합니다. 효율성이 향상될 뿐만 아니라, 원래의 복잡한 역변환 경로로는 계산적으로 불가능했던 강건성을 직접적으로 목표로 하는 엔드-투-엔드 적대적 학습(adversarial training)을 가능하게 합니다. 이러한 점을 바탕으로, 본 연구에서는 디노이저를 위한 경량화된 적대적 LoRA 미세 조정을 통해 워터마크 추출을 수행하는 단일 단계 역변환 프레임워크인 **FARI** (**F**ast **A**symmetric **R**obust **I**nversion)를 제안합니다. FARI는 내부 오류가 약간 증가하지만, 속도와 강건성 측면에서 큰 이점을 제공하며, NVIDIA RTX A6000 GPU 한 대에서 약 20분 동안의 미세 조정을 통해 워터마크 검증에서의 강건성 면에서 50단계 DDIM 역변환을 능가하는 동시에 추론 시간을 크게 단축합니다. 코드 및 사전 학습된 모델은 https://github.com/0xD009/FARI 에서 확인할 수 있습니다.

Inversion-based watermarking is a promising approach to authenticate diffusion-generated images, yet practical use is bottlenecked by inversion that is both slow and error-prone. While the primary challenge in the watermarking setting is robustness against external distortions, existing approaches over-optimize internal truncation error, and because that error scales with the sampler step size, they are inherently confined to high-NFE (number of function evaluations) regimes that cannot meet the dual demands of speed and robustness. In this work, we have two key observations: (i) the inversion trajectory has markedly lower curvature than the forward generation path does, making it highly compressible and amenable to low-NFE approximation; and (ii) in inversion for watermark verification, the trade-off between speed and truncation error is less critical, since external distortions dominate the error. A faster inverter provides a dual benefit: it is not only more efficient, but it also enables end-to-end adversarial training to directly target robustness, a task that is computationally prohibitive for the original, lengthy inversion trajectories. Building on this, we propose \textbf{FARI} (\textbf{F}ast \textbf{A}symmetric \textbf{R}obust \textbf{I}nversion), a one-step inversion framework paired with lightweight adversarial LoRA fine-tuning of the denoiser for watermark extraction. While consolidation slightly increases internal error, FARI delivers large gains in both speed and robustness: with approximately 20 minutes of fine-tuning on a single NVIDIA RTX A6000 GPU, it surpasses 50-step DDIM inversion on watermark-verification robustness while dramatically reducing inference time. Code and pretrained models are available at https://github.com/0xD009/FARI.