최적 수송 기반 의미 흐름을 통한 시각 및 언어 개념 연결

Bridging Vision and Language Concepts through Optimal Transport Semantic Flow

개념 병목 모델(Concept Bottleneck Models, CBMs)은 인간이 이해할 수 있는 개념을 통해 예측함으로써 투명한 추론을 가능하게 하지만, 그 효과는 시각적 표현과 텍스트 표현이 얼마나 잘 정렬되고 일치하는지에 근본적으로 의존합니다. 기존의 시각-언어 CBM 모델들은 종종 사전 정렬된 인코더나 전역 코사인 유사성을 사용하는데, 이는 미세한 수준의 개념 위치 추적을 어렵게 만들고 진정한 의미론적 기하학적 관계를 반영하지 못합니다. 본 연구에서는 개념 정렬을 정적인 투영이 아닌 동적인 교차 모달 운송 과정으로 재해석하고, 최적 수송 흐름 기반 개념 병목 모델(Optimal Transport Flow Concept Bottleneck Model, OTF-CBM)을 제안합니다. OTF-CBM은 먼저 역최적 수송(Inverse Optimal Transport)을 통해 데이터 기반의 의미론적 비용을 학습하여 교차 모달 거리를 측정하고, 불균형 최적 수송 기반 흐름 매칭을 수행하여 시각 패치와 텍스트 개념 간의 의미론적 전환을 모델링합니다. 속도 기반 개념 활성화를 통해 OTF-CBM은 미분 방정식(ODE) 통합 없이 해석 가능한 기하학적 관계를 파악합니다. 실험 결과, OTF-CBM은 우수한 분류 정확도와 개념 충실도를 달성하며, 이는 해석 가능한 교차 모달 추론을 위한 새로운 기하학적 및 동적인 관점을 제시합니다.

Concept Bottleneck Models (CBMs) promise transparent reasoning by predicting through human-interpretable concepts, yet their effectiveness fundamentally depends on how well visual and textual representations are aligned or matched. Existing vision-language CBMs often rely on pre-aligned encoders or global cosine similarity, which obscures fine-grained concept localization and fails to reflect true semantic geometry. In this work, we rethink concept alignment as a dynamic cross-modal transport process instead of static projection and propose the Optimal Transport Flow Concept Bottleneck Model (OTF-CBM). It first learns a data-driven semantic cost via Inverse Optimal Transport to measure cross-modal distances, and then performs unbalanced optimal-transport-based flow matching to model semantic transitions between visual patches and textual concepts. With velocity-based concept activation, OTF-CBM captures interpretable geometric relations without ODE integration. Experiments further show that OTF-CBM achieves superior classification accuracy and concept faithfulness, offering a new geometric and dynamical perspective for interpretable cross-modal reasoning.