희소 및 직교 LoRA를 이용한 무선 연합 다중 작업 LLM 미세 조정

Wireless Federated Multi-Task LLM Fine-Tuning via Sparse-and-Orthogonal LoRA

본 연구는 저랭크 적응(LoRA) 기반의 분산 연합 학습(DFL)을 활용하여, 모바일 기기가 다중 작업 데이터셋을 사용하여 무선 연결을 통해 인접 기기들과 로컬에서 업데이트된 파라미터를 교환하며, 지식 통합을 통해 대규모 언어 모델(LLM)을 공동으로 미세 조정하는 방법을 제시합니다. 그러나 이질적인 데이터셋에 대해 미세 조정된 파라미터를 직접적으로 집계하면, DFL의 전체 과정에서 다음과 같은 세 가지 주요 문제가 발생합니다. (i) 데이터 이질성으로 인해 발생하는 상반된 업데이트 방향으로 인한 미세 조정 과정에서의 extit{파국적인 지식 손실}; (ii) 대역폭을 많이 사용하는 중복 모델 전송으로 인한 모델 집계 과정에서의 extit{비효율적인 통신 및 수렴}; (iii) 추론 과정에서 extit{다중 작업 지식 간섭}으로 인해 발생하는 호환되지 않는 지식 표현의 공존. 이러한 문제를 완전한 분산 환경에서 해결하기 위해, 먼저 모델 업데이트 간의 직교성을 보장하여 미세 조정 과정에서 방향 충돌을 제거하는 희소 및 직교 LoRA를 제안합니다. 다음으로, 기기 연결 토폴로지가 다중 작업 성능에 미치는 영향을 분석하고, 집계 과정에서 클러스터 기반 토폴로지 설계를 제안합니다. 마지막으로, 추론 과정에서 호환되지 않는 지식의 공존을 방지하기 위해 암시적 혼합 전문가(MoE) 메커니즘을 제안합니다. 시뮬레이션 결과는 제안된 방법이 기존 LoRA 방법과 비교하여 통신 자원 소비를 최대 73%까지 줄이고, 평균 성능을 5% 향상시키는 것을 보여줍니다.

Decentralized federated learning (DFL) based on low-rank adaptation (LoRA) enables mobile devices with multi-task datasets to collaboratively fine-tune a large language model (LLM) by exchanging locally updated parameters with a subset of neighboring devices via wireless connections for knowledge integration.However, directly aggregating parameters fine-tuned on heterogeneous datasets induces three primary issues across the DFL life-cycle: (i) \textit{catastrophic knowledge forgetting during fine-tuning process}, arising from conflicting update directions caused by data heterogeneity; (ii) \textit{inefficient communication and convergence during model aggregation process}, due to bandwidth-intensive redundant model transmissions; and (iii) \textit{multi-task knowledge interference during inference process}, resulting from incompatible knowledge representations coexistence during inference. To address these issues in a fully decentralized scenario, we first propose a sparse-and-orthogonal LoRA that ensures orthogonality between model updates to eliminate direction conflicts during fine-tuning.Then, we analyze how device connection topology affects multi-task performance, prompting a cluster-based topology design during aggregation.Finally, we propose an implicit mixture of experts (MoE) mechanism to avoid the coexistence of incompatible knowledge during inference. Simulation results demonstrate that the proposed approach effectively reduces communication resource consumption by up to $73\%$ and enhances average performance by $5\%$ compared with the traditional LoRA method.