MoEGen: 인스턴스 적응 LoRA 생성을 위한 Mixture-of-Experts 모델

MoEGen: Mixture-of-Experts for Instance-Adaptive LoRA Generation

파라미터 효율적인 미세 조정(PEFT)은 대규모 언어 모델의 효율적인 적응을 가능하게 하지만, 기존의 MoE 기반 PEFT 방법들은 일반적으로 여러 개의 완전한 LoRA 전문가를 저장하여 용량을 늘리는데, 이로 인해 어댑터 저장 공간이 전문가 수에 따라 선형적으로 증가하고, 고정된 전문가 풀 내에서만 적응이 가능하다는 제약이 있습니다. 본 연구에서는 MoE 기반 PEFT가 각 전문가에 대한 별도의 LoRA 모듈을 명시적으로 저장하지 않고도 인스턴스별 특정 적응을 수행할 수 있는지 질문합니다. 이러한 문제점을 해결하기 위해, 우리는 MoE 기반 PEFT를 전문가 선택에서 전문가 조건부 파라미터 생성으로 전환하는 적응 프레임워크인 MoEGen을 제안합니다. MoEGen은 각 전문가를 완전한 LoRA 어댑터로 저장하는 대신, '전문가 코드'라고 불리는 작은 학습 가능한 벡터로 표현합니다. 입력 데이터를 이러한 벡터들을 통해 라우팅하고, 이들의 가중치 조합을 사용하여 경량 하이퍼 네트워크를 조건화하여 입력별 저랭크 업데이트를 생성합니다. 이러한 설계는 전문가 용량을 어댑터 저장 공간과 분리시키면서도 인스턴스 기반의 적응을 가능하게 합니다. 8개의 상식 추론 벤치마크에 대한 실험 결과, MoEGen은 세 가지 백본 모델에서 강력한 정적 및 MoE 기반 PEFT 기준 성능보다 일관되게 우수한 성능을 보였습니다. 또한, MoEGen은 의료 및 법률 분야의 공동 적응에서도 뛰어난 성능을 나타냈습니다.

Parameter-efficient fine-tuning (PEFT) enables efficient adaptation of large language models, but existing MoE-based PEFT methods typically improve capacity by storing multiple full LoRA experts, causing adapter storage to grow linearly with the number of experts and restricting adaptation to a fixed expert pool. We ask whether MoE-based PEFT can produce instance-specific adaptations without explicitly storing a separate LoRA module for each expert. To address this gap, we propose MoEGen, an adaptation framework that shifts MoE-based PEFT from expert selection to expert-conditioned parameter generation. Instead of storing each expert as a full LoRA adapter, MoEGen represents each expert as a small learnable vector, termed an expert code. It routes each input over these vectors and uses their weighted combination to condition a lightweight hypernetwork that generates input-specific low-rank updates. This design decouples expert capacity from adapter storage while enabling instance-conditioned adaptation. Experiments on eight commonsense reasoning benchmarks show consistent improvements over strong static and MoE-based PEFT baselines across three backbones. MoEGen also performs strongly in joint medical and legal-domain adaptation.