OrthoFuse: 학습 없이 리만 기하학적 융합을 이용한 직교 스타일-개념 어댑터 결합 방법 (확산 모델)

OrthoFuse: Training-free Riemannian Fusion of Orthogonal Style-Concept Adapters for Diffusion Models

모델 학습 분야가 빠르게 발전함에 따라, 효율적인 파라미터 조정 및 소량의 학습 데이터를 활용하여 모델을 특정 작업에 맞게 조정하는 다양한 기술에 대한 실질적인 관심이 높아지고 있습니다. 그러나 여전히 해결해야 할 과제가 있습니다. 바로 서로 다른 작업에 대해 조정된 여러 어댑터를 하나의 어댑터로 결합하여 두 작업 모두에서 충분한 성능을 얻는 방법입니다. 특히, 생성 모델에서 주제(subject) 어댑터와 스타일(style) 어댑터를 결합하는 문제는 아직 해결되지 않았습니다. 본 논문에서는 직교 미세 조정(OFT)의 경우, 구조화된 직교 파라미터화와 그 기하학적 특성을 활용하여 학습 없이 어댑터를 결합하는 공식을 도출할 수 있음을 보여줍니다. 특히, 최근 제안된 Group-and-Shuffle ($\mathcal{GS}$) 직교 행렬로 형성된 다양체의 구조를 파악하고, 두 점 사이의 효율적인 기하 곡선(지오데식) 근사 공식을 얻습니다. 또한, 융합된 어댑터의 스펙트럼 특성을 복원하여 더 높은 품질의 융합을 가능하게 하는 $\text{스펙트럼 복원}$ 변환을 제안합니다. 주제 중심 생성 작업에 대한 실험을 통해, 두 개의 $\mathcal{GS}$ 직교 행렬을 결합하는 기술이 서로 다른 어댑터의 개념 및 스타일 특징을 통합할 수 있음을 확인했습니다. 저자들은 이 방법이 곱셈 직교 어댑터를 결합하는 첫 번째 학습이 필요 없는 방법이라고 생각합니다. 관련 코드는 다음 링크를 통해 제공됩니다: $\href{https://github.com/ControlGenAI/OrthoFuse}{링크}$.

In a rapidly growing field of model training there is a constant practical interest in parameter-efficient fine-tuning and various techniques that use a small amount of training data to adapt the model to a narrow task. However, there is an open question: how to combine several adapters tuned for different tasks into one which is able to yield adequate results on both tasks? Specifically, merging subject and style adapters for generative models remains unresolved. In this paper we seek to show that in the case of orthogonal fine-tuning (OFT), we can use structured orthogonal parametrization and its geometric properties to get the formulas for training-free adapter merging. In particular, we derive the structure of the manifold formed by the recently proposed Group-and-Shuffle ($\mathcal{GS}$) orthogonal matrices, and obtain efficient formulas for the geodesics approximation between two points. Additionally, we propose a $\text{spectra restoration}$ transform that restores spectral properties of the merged adapter for higher-quality fusion. We conduct experiments in subject-driven generation tasks showing that our technique to merge two $\mathcal{GS}$ orthogonal matrices is capable of uniting concept and style features of different adapters. To the best of our knowledge, this is the first training-free method for merging multiplicative orthogonal adapters. Code is available via the $\href{https://github.com/ControlGenAI/OrthoFuse}{link}$.