pMoE: 다양한 전문가들을 함께 활용하여 시각적 적응에서 더 나은 성능을 달성하는 방법

pMoE: Prompting Diverse Experts Together Wins More in Visual Adaptation

매개변수 효율적인 미세 조정은 이미지 분류 및 분할과 같은 다양한 시각적 적응 작업에서 유망한 결과를 보여주었습니다. 일반적으로 프롬프트 튜닝 기술은 일반 또는 전문 의료 분야의 단일 사전 학습된 모델에서 지식을 활용합니다. 그러나 이 접근 방식은 동일한 튜닝 과정 내에서 다양한 도메인 지식을 통합함으로써 발생할 수 있는 잠재적인 시너지 효과를 간과하는 경향이 있습니다. 본 연구에서는 전문가별 프롬프트 토큰과 학습 가능한 디스패처를 활용하여 여러 전문가 도메인의 장점을 결합하는 새로운 Mixture-of-Experts 프롬프트 튜닝 방법인 pMoE를 제안합니다. pMoE는 각 도메인 전문가의 전문성을 활용하기 위해 전문가별 프롬프트 토큰을 도입하고, 적응 단계 동안 각 도메인 전문가의 기여도를 최적화하기 위해 다양한 프롬프트 레이어에서 동적 토큰 디스패칭 메커니즘을 사용합니다. 제안하는 pMoE는 다양한 전문가의 도메인 지식을 통합함으로써 모델의 다양성과 광범위한 작업에 대한 적용 가능성을 크게 향상시킵니다. 본 연구에서는 일반 및 의료 분야의 이미지 분류 및 분할을 포함한 47개의 적응 작업에 대한 광범위한 실험을 수행했습니다. 결과는 pMoE가 기존 방법과 비교하여 상당한 성능 향상을 제공할 뿐만 아니라 계산 효율성과 적응 효과 간의 최적의 균형을 제공한다는 것을 보여줍니다.

Parameter-efficient fine-tuning has demonstrated promising results across various visual adaptation tasks, such as classification and segmentation. Typically, prompt tuning techniques have harnessed knowledge from a single pre-trained model, whether from a general or a specialized medical domain. However, this approach typically overlooks the potential synergies that could arise from integrating diverse domain knowledge within the same tuning process. In this work, we propose a novel Mixture-of-Experts prompt tuning method called pMoE, which leverages the strengths of multiple expert domains through expert-specialized prompt tokens and the learnable dispatcher, effectively combining their expertise in a unified model framework. Our pMoE introduces expert-specific prompt tokens and utilizes a dynamic token dispatching mechanism at various prompt layers to optimize the contribution of each domain expert during the adaptation phase. By incorporating both domain knowledge from diverse experts, the proposed pMoE significantly enhances the model's versatility and applicability to a broad spectrum of tasks. We conduct extensive experiments across 47 adaptation tasks, including both classification and segmentation in general and medical domains. The results demonstrate that our pMoE not only achieves superior performance with a large margin of improvements but also offers an optimal trade-off between computational efficiency and adaptation effectiveness compared to existing methods.