특징 얽힘 기반 양자 다중 모드 융합 신경망

Feature Entanglement-based Quantum Multimodal Fusion Neural Network

다중 모드 학습은 다양한 정보 소스를 통합하여 인지 및 의사 결정 능력을 향상시키는 것을 목표로 합니다. 그러나 기존의 딥러닝 접근 방식은 높은 정확도를 제공하는 블랙박스 방식의 특징 레벨 융합과, 해석 가능성이 떨어지는 의사 결정 레벨 융합 사이에서 중요한 균형을 맞추는 데 어려움을 겪으며, 또한 매개변수 폭증 및 복잡성 문제가 발생합니다. 본 논문에서는 양자 컴퓨팅 프레임워크 하에서 정확성-해석 가능성-복잡성 간의 딜레마를 논하고, 특징 얽힘 기반의 양자 다중 모드 융합 신경망을 제안합니다. 제안하는 모델은 세 가지 핵심 구성 요소로 구성됩니다. 첫째, 단일 모드 처리를 위한 고전적인 순방향 모듈, 둘째, 해석 가능한 양자 융합 블록, 셋째, 심층 특징 추출을 위한 양자 컨볼루션 신경망(QCNN)입니다. 양자의 강력한 표현력을 활용하여 다중 모드 융합 및 후처리 과정을 선형 복잡도로 줄였으며, 융합 과정은 의사 결정 레벨 융합의 해석 가능성을 제공합니다. 시뮬레이션 결과는 제안하는 모델이 기존 네트워크에 비해 수십 배 적은 매개변수로 유사한 분류 정확도를 달성하며, 다양한 다중 모드 이미지 데이터셋에서 뛰어난 안정성과 성능을 보이는 것을 보여줍니다.

Multimodal learning aims to enhance perceptual and decision-making capabilities by integrating information from diverse sources. However, classical deep learning approaches face a critical trade-off between the high accuracy of black-box feature-level fusion and the interpretability of less outstanding decision-level fusion, alongside the challenges of parameter explosion and complexity. This paper discusses the accuracy-interpretablity-complexity dilemma under the quantum computation framework and propose a feature entanglement-based quantum multimodal fusion neural network. The model is composed of three core components: a classical feed-forward module for unimodal processing, an interpretable quantum fusion block, and a quantum convolutional neural network (QCNN) for deep feature extraction. By leveraging the strong expressive power of quantum, we have reduced the complexity of multimodal fusion and post-processing to linear, and the fusion process also possesses the interpretability of decision-level fusion. The simulation results demonstrate that our model achieves classification accuracy comparable to classical networks with dozens of times of parameters, exhibiting notable stability and performance across multimodal image datasets.