동적 분산 LoRA 미세 조정에서의 우선순위 기반 학습-언러닝 수정 방법

Priority-Aware Learning-Unlearning Correction for Dynamic Decentralized LoRA Fine-Tuning

대규모 언어 모델(LLM)이 네트워크 에지에서 점점 더 많이 배포되어 보편적인 생성 AI 서비스를 제공함에 따라, 분산 연합 학습(DFL)은 피어 투 피어 방식으로 파라미터 효율적인 업데이트를 교환하여 개인 정보 보호 및 도메인별 미세 조정을 위한 중요한 메커니즘을 제공합니다. 그러나 실제 분산 에지 네트워크의 동적 특성으로 인해, 장치가 협업 훈련 과정에 동적으로 참여하거나 이탈할 수 있으며, 시스템은 새로운 데이터에 지속적으로 적응하면서 동시에 이전 기여도를 선택적으로 제거해야 합니다. 이러한 수정 프로세스는 여전히 중요한 병목 현상입니다. 왜냐하면 개별 장치의 업데이트가 글로벌 미세 조정된 파라미터 내에서 깊이 얽혀 있기 때문입니다. 이 문제를 해결하기 위해, 우리는 토폴로지 조정을 통해 지식 평가를 향상시키는 직교 LoRA 기반의 우선순위 기반 학습-언러닝 수정 프레임워크를 제안합니다. 구체적으로, 우리는 먼저 직교 LoRA 메커니즘을 설계하여 훈련 후 기여도 좌표를 얻고, 멤버십 변경에 대응하여 과거 정보 없이 투영 값을 추가하고 삭제할 수 있도록 합니다. 그런 다음, 우리는 수정 병목 현상을 분석하고, 지배적인 잔류 항에 따라 토폴로지 개선, 로컬 수정, 근접 감쇠 및 동기화 스케줄링 중에서 선택하는 우선순위 기반 정책을 개발합니다. 또한, 제한된 통신 자원을 레이어 그룹 간에 할당하는 알고리즘을 개발하여 각 라운드 내 무선 제약 조건 하에서 주요 병목 현상에 우선순위를 부여합니다. 실험 결과는 제안된 프레임워크가 장치 참여 및 이탈 이벤트 모두에 대해 강력한 사후 수정 기능을 제공하며, 다양한 잔류 상태에는 서로 다른 수정 작업이 필요함을 입증합니다.

As large language models (LLMs) are increasingly deployed at the network edge to provide pervasive generative AI services, decentralized federated learning (DFL) provides a vital mechanism for privacy-preserving, domain-specific fine-tuning through peer-to-peer exchanges of parameter-efficient updates. However, the dynamic nature of practical decentralized edge networks, where devices may dynamically join or leave the collaborative training process, requires the system to continuously adapt to new data while selectively removing prior contributions. This correction process remains a significant bottleneck, as individual device updates become deeply entangled within the global fine-tuned parameters. To address this challenge, we propose a priority-aware learning-unlearning correction framework based on orthogonal LoRA that can enhance the knowledge evaluation through topology adjustment. Specifically, we first design an orthogonal LoRA mechanism that yields post-training contribution coordinates, enabling history-free projection addition and deletion in response to membership changes. We then analyze the correction bottleneck and develop a priority-aware policy that selects among topology refinement, local correction, proximal damping, and synchronization scheduling according to the dominant residual term. A resource allocation algorithm is further developed to allocate limited communication across layer groups, prioritizing the primary bottlenecks within per-round wireless constraints. Experiments demonstrate that the proposed framework achieves robust post-event correction for both device join and leave events and validate that different residual regimes necessitate distinct correction actions.