원격 감지 분야의 VLM 기반 연합 학습에서 적응 전략의 효과성에 대한 연구

On the Effectiveness of Adaptation Strategies for VLM-Based Federated Learning in Remote Sensing

연합 학습(FL)은 데이터 중앙 집중화 없이 분산된 이미지 아카이브 전체에서 딥러닝 모델을 협업하여 학습할 수 있도록 하는 기술입니다. 이 방식은 특히 법적 규제, 개인 정보 보호 문제 및 대역폭 제약으로 인해 데이터 공유가 제한되는 원격 감지(RS) 분야에 매우 중요합니다. 그러나 클라이언트 간의 학습 데이터 불균일성(non-IID 데이터)은 모델 수렴을 방해하고 통합된 글로벌 모델의 일반화 능력을 제한할 수 있습니다. 이러한 학습 데이터 불균일성의 부정적인 영향을 완화하기 위해, 전이 가능한 표현을 활용하여 분포 변화에 강건성을 보이는 비전-언어 모델(VLM)을 연합 학습에 적용할 수 있습니다. 그러나 VLM의 큰 파라미터 크기는 연합 환경에서 통신 오버헤드와 로컬 컴퓨팅 복잡도를 크게 증가시킬 수 있습니다. 따라서, 일반화 능력과 통신 및 컴퓨팅 제약 사이의 균형을 맞출 수 있는 적절한 VLM 적응 전략을 선택하는 것이 중요합니다. 본 연구에서는 원격 감지 이미지 분류 분야의 연합 학습에서 VLM 적응 전략에 대한 최초의 비교 연구를 제시합니다. 전체 미세 조정, 인코더 특정 미세 조정, 프롬프트 학습 및 저랭크 적응(LoRA) 튜닝을 조사하고 다음 세 가지 기준으로 분석했습니다. 1) non-IID 데이터 환경에서의 일반화 능력, 2) 통신 오버헤드, 그리고 3) 로컬 컴퓨팅 복잡도입니다. BigEarthNet-S2, EuroSAT, RESISC45 및 ImageNet 데이터셋에 대한 실험 결과는 작업 전문성, 교차 도메인 일반화 및 효율성 간의 명확한 상호 관계를 보여줍니다. 본 연구 결과를 바탕으로, 다양한 운영 제약 조건 하에서 원격 감지 이미지 분류를 위한 연합 학습에서 적절한 VLM 적응 전략을 선택하기 위한 지침을 제시합니다. 본 연구의 코드는 https://git.tu-berlin.de/rsim/FL-RS-VLM 에서 공개적으로 이용할 수 있습니다.

Federated learning (FL) enables collaborative training of deep learning models across decentralized image archives without requiring data centralization. This paradigm is particularly relevant in remote sensing (RS), where legal regulations, privacy concerns, and bandwidth constraints restrict data sharing. However, the presence of training data heterogeneity across clients (known as non-IID data) can impede convergence and limit the generalization capability of the aggregated global model. To mitigate the adverse effects of training data heterogeneity, vision-language models (VLMs) can be leveraged in FL due to their transferable representations, which have demonstrated robustness under distribution shifts. However, their large parameter size may substantially increase communication overhead and local computational complexity in federated settings. Therefore, it is crucial to select an appropriate VLM adaptation strategy that balances the generalization ability with the communication and computational constraints. To address this issue, in this paper, we present the first comparative study of VLM adaptation strategies for FL in the context of RS image classification. We investigate full fine-tuning, encoder-specific fine-tuning, prompt learning, and low-rank adaptation (LoRA) tuning, and analyze them with respect to three criteria: 1) generalization capability under non-IID data, 2) communication overhead, and 3) local computational complexity. Experiments on BigEarthNet-S2, EuroSAT, RESISC45, and ImageNet reveal distinct trade-offs between task specialization, cross-domain generalization, and efficiency. Based on our findings, we derive a guideline for the selection of an appropriate VLM adaptation strategy in FL for RS image classification under different operational constraints. The code of this work is publicly available at https://git.tu-berlin.de/rsim/FL-RS-VLM.