모든 레이어가 동일하지 않다: 개인 맞춤형 이미지 생성을 위한 적응형 LoRA 랭크

Not All Layers Are Created Equal: Adaptive LoRA Ranks for Personalized Image Generation

로우 랭크 어댑테이션(LoRA)은 사전 훈련된 확산 모델에서 개인 맞춤형 이미지를 생성하는 사실상 표준 미세 조정 전략입니다. 좋은 랭크를 선택하는 것은 성능과 메모리 사용량 간의 균형을 결정하므로 매우 중요하지만, 현재는 개인 맞춤형 이미지의 복잡성에 관계없이 커뮤니티의 합의에 따라 결정되는 경우가 많습니다. 그 이유는 각 LoRA 구성 요소에 적합한 랭크를 선택하는 데 드는 비용이 조합적이기 때문입니다. 따라서 모든 구성 요소에 대해 동일한 랭크를 사용하는 등 실용적인 방법을 사용합니다. 본 논문에서는 이러한 문제를 해결하기 위한 첫 번째 단계를 제시합니다. 신경망의 적응형 폭을 학습하는 변분 방법에서 영감을 받아, 각 레이어의 랭크가 이미지의 특정 특성에 따라 미세 조정 과정에서 자유롭게 조정되도록 합니다. 랭크의 위치에 중요도를 부여함으로써, 필요한 경우 더 높은 랭크가 생성되도록 유도합니다. 제안하는 방법인 LoRA$^2$는 29개의 이미지에 대해 DINO, CLIP-I 및 CLIP-T와 경쟁력 있는 성능을 달성하면서, 고랭크 LoRA 버전에 비해 훨씬 적은 메모리를 사용하고 낮은 랭크를 유지합니다. 코드: https://github.com/donaldssh/NotAllLayersAreCreatedEqual

Low Rank Adaptation (LoRA) is the de facto fine-tuning strategy to generate personalized images from pre-trained diffusion models. Choosing a good rank is extremely critical, since it trades off performance and memory consumption, but today the decision is often left to the community's consensus, regardless of the personalized subject's complexity. The reason is evident: the cost of selecting a good rank for each LoRA component is combinatorial, so we opt for practical shortcuts such as fixing the same rank for all components. In this paper, we take a first step to overcome this challenge. Inspired by variational methods that learn an adaptive width of neural networks, we let the ranks of each layer freely adapt during fine-tuning on a subject. We achieve it by imposing an ordering of importance on the rank's positions, effectively encouraging the creation of higher ranks when strictly needed. Qualitatively and quantitatively, our approach, LoRA$^2$, achieves a competitive trade-off between DINO, CLIP-I, and CLIP-T across 29 subjects while requiring much less memory and lower rank than high rank LoRA versions. Code: https://github.com/donaldssh/NotAllLayersAreCreatedEqual.