CoME: 정보 기반 하이브리드 추론 능력을 갖춘 모바일 전문가 시스템

CoME: Empowering Channel-of-Mobile-Experts with Informative Hybrid-Capabilities Reasoning

모바일 에이전트는 사용자의 지시를 자율적으로 실행하며, 이를 위해서는 화면 요약, 하위 작업 계획, 액션 결정 및 액션 함수를 포함하는 하이브리드 추론 능력이 필요합니다. 그러나 기존 에이전트는 이러한 능력들을 분리하여 향상시키고 동시에 균형 있게 통합하는 데 어려움을 겪습니다. 이러한 문제점을 해결하기 위해, 본 논문에서는 네 가지의 독립적인 전문가로 구성된 새로운 에이전트 아키텍처인 Channel-of-Mobile-Experts (CoME)를 제안합니다. 각 전문가는 특정 추론 단계를 담당하며, CoME는 출력 지향적인 활성화 방식을 통해 각 추론 단계에서 해당 전문가를 활성화하여 출력 토큰을 생성합니다. CoME에 하이브리드 추론 능력을 부여하기 위해, 다음과 같은 점진적인 학습 전략을 도입했습니다. Expert-FT는 각 전문가의 능력을 분리하고 향상시키도록 설계되었으며, Router-FT는 전문가 활성화를 다양한 추론 단계와 일치시키도록 합니다. 또한, CoT-FT는 여러 능력을 활용한 원활한 협력과 균형 잡힌 최적화를 지원합니다. 또한, 하이브리드 추론 과정에서 발생하는 오류 전파를 줄이기 위해, 정보 이득을 사용하여 각 중간 단계의 기여도를 평가하는 InfoGain-Driven DPO (Info-DPO)를 제안합니다. 이를 통해 CoME가 더욱 정보 기반적인 추론을 수행하도록 유도합니다. 광범위한 실험 결과, CoME는 AITZ 및 AMEX 데이터셋에서 기존의 dense 모바일 에이전트 및 Mixture-of-Experts (MoE) 방법보다 우수한 성능을 보였습니다.

Mobile Agents can autonomously execute user instructions, which requires hybrid-capabilities reasoning, including screen summary, subtask planning, action decision and action function. However, existing agents struggle to achieve both decoupled enhancement and balanced integration of these capabilities. To address these challenges, we propose Channel-of-Mobile-Experts (CoME), a novel agent architecture consisting of four distinct experts, each aligned with a specific reasoning stage, CoME activates the corresponding expert to generate output tokens in each reasoning stage via output-oriented activation. To empower CoME with hybrid-capabilities reasoning, we introduce a progressive training strategy: Expert-FT enables decoupling and enhancement of different experts' capability; Router-FT aligns expert activation with the different reasoning stage; CoT-FT facilitates seamless collaboration and balanced optimization across multiple capabilities. To mitigate error propagation in hybrid-capabilities reasoning, we propose InfoGain-Driven DPO (Info-DPO), which uses information gain to evaluate the contribution of each intermediate step, thereby guiding CoME toward more informative reasoning. Comprehensive experiments show that CoME outperforms dense mobile agents and MoE methods on both AITZ and AMEX datasets.