LLM을 위한 새로운 하이브리드 파인튜닝 패러다임: 알고리즘 설계 및 수렴 분석 프레임워크

New Hybrid Fine-Tuning Paradigm for LLMs: Algorithm Design and Convergence Analysis Framework

대규모 언어 모델(LLM)의 파인튜닝은 일반적으로 전체 모델 파라미터를 업데이트하는 전체 파인튜닝 또는 파라미터 효율적인 파인튜닝(PEFT)으로, 모델 파라미터의 작은 부분만 조정하는 방식입니다. 그러나 두 가지 접근 방식 모두 고유한 한계점을 가지고 있습니다. 전체 파인튜닝은 계산 비용이 많이 들고, PEFT는 종종 새로운 지식을 학습하는 데 어려움을 겪으며 최적의 성능을 보이지 못합니다. 이러한 문제점을 해결하기 위해, 우리는 제로차 및 1차 최적화 방법을 결합하여 LLM과 PEFT 모듈을 동시에 업데이트하는 새로운 하이브리드 파인튜닝 방식을 제안합니다. 제안하는 알고리즘을 분석하기 위해, 우리는 LLM과 PEFT 훈련의 이질적인 특성을 고려하는 하이브리드 매끄러움 조건을 중심으로 하는 이론적 프레임워크를 개발했습니다. 우리는 여러 학습률에서 reshuffling-type SGD 알고리즘의 수렴에 대한 엄격한 수렴 분석을 도출하고, 다양한 다운스트림 작업 및 모델 아키텍처에 대한 광범위한 실험 연구를 통해 그 효과를 입증했습니다. 실질적으로, 우리의 결과는 일관된 성능 향상을 보여주며, 이는 대규모 언어 모델 파인튜닝을 위한 실행 가능한 솔루션임을 입증합니다.

Fine-tuning Large Language Models (LLMs) typically involves either full fine-tuning, which updates all model parameters, or Parameter-Efficient Fine-Tuning (PEFT), which adjusts a small subset of parameters. However, both approaches have inherent limitations: full fine-tuning is computationally expensive, while PEFT often struggles to learn new knowledge and exhibits suboptimal performance. To overcome these issues, we propose a novel hybrid fine-tuning approach that jointly updates both LLMs and PEFT modules using a combination of zeroth-order and first-order optimization methods. To analyze our new algorithm, we develop a theoretical framework centered on the concept of hybrid smoothness condition, which accounts for the heterogeneous nature of the optimization landscape in joint LLM and PEFT training. We derive a rigorous convergence analysis for the convergence of reshuffling-type SGD algorithm under multiple learning rates and demonstrate its effectiveness through extensive empirical studies across various downstream tasks and model architectures. On the practical side, our results demonstrate consistent performance improvement, making the approach a viable solution for large-scale language model fine-tuning.