커버리지 향상 잠재 액션을 활용한 다중 모드 대화형 에이전트 제어

Controlling Multimodal Conversational Agents with Coverage-Enhanced Latent Actions

비전-언어 모델은 다양한 대화 작업에 사용되는 다중 모드 대화형 에이전트(MCA)로 점점 더 많이 활용되고 있습니다. 최근에는 강화 학습(RL)이 다양한 인간-AI 상호 작용 시나리오에 대한 MCA의 적응을 위해 널리 연구되고 있습니다. 강화 학습을 통해 일반화 성능을 크게 향상시켰지만, 여전히 MCA를 강화 학습으로 미세 조정하는 것은 매우 큰 텍스트 토큰 공간을 처리하는 데 어려움을 겪고 있습니다. 이를 해결하기 위해, 우리는 강화 학습 미세 조정을 위한 간결한 잠재 액션 공간을 학습합니다. 구체적으로, 우리는 잠재 액션 공간을 구성하기 위해 관찰 학습 메커니즘을 채택합니다. 여기서 미래의 관찰 데이터를 활용하여 현재의 잠재 액션을 추정하고, 이를 사용하여 미래의 관찰 데이터를 재구성할 수 있습니다. 그러나 쌍을 이루는 이미지-텍스트 데이터의 부족은 충분한 커버리지를 가진 코드북을 학습하는 데 어려움을 초래합니다. 따라서, 우리는 잠재 액션 공간을 구축하기 위해 쌍을 이루는 이미지-텍스트 데이터와 텍스트 전용 데이터를 모두 사용하며, 텍스트 임베딩을 이미지-텍스트 임베딩으로 변환하기 위한 크로스 모달 프로젝터를 활용합니다. 우리는 크로스 모달 프로젝터를 쌍을 이루는 이미지-텍스트 데이터로 초기화하고, 새로운 사이클 일관성 손실을 사용하여 방대한 텍스트 전용 데이터로 추가 훈련하여 그 견고성을 향상시킵니다. 우리는 우리의 잠재 액션 기반 방법이 다양한 강화 학습 알고리즘을 사용한 두 가지 대화 작업에서 경쟁적인 기본 성능을 능가한다는 것을 보여줍니다.

Vision-language models are increasingly employed as multimodal conversational agents (MCAs) for diverse conversational tasks. Recently, reinforcement learning (RL) has been widely explored for adapting MCAs to various human-AI interaction scenarios. Despite showing great enhancement in generalization performance, fine-tuning MCAs via RL still faces challenges in handling the extremely large text token space. To address this, we learn a compact latent action space for RL fine-tuning instead. Specifically, we adopt the learning from observation mechanism to construct the codebook for the latent action space, where future observations are leveraged to estimate current latent actions that could further be used to reconstruct future observations. However, the scarcity of paired image-text data hinders learning a codebook with sufficient coverage. Thus, we leverage both paired image-text data and text-only data to construct the latent action space, using a cross-modal projector for transforming text embeddings into image-text embeddings. We initialize the cross-modal projector on paired image-text data, and further train it on massive text-only data with a novel cycle consistency loss to enhance its robustness. We show that our latent action based method outperforms competitive baselines on two conversation tasks across various RL algorithms.