개념 병목 현상 전문가 모델의 혼합

Mixture of Concept Bottleneck Experts

개념 병목 현상 모델(CBM)은 예측 결과를 사람이 이해할 수 있는 개념에 기반하도록 함으로써 해석 가능성을 향상시킵니다. 그러나 기존 CBM은 일반적으로 단일한 선형 또는 부울 표현식을 사용하여 예측을 수행하므로, 예측 정확도와 다양한 사용자 요구 사항에 대한 적응성이 제한됩니다. 본 논문에서는 기존 CBM을 전문가의 수와 각 전문가의 함수 형태라는 두 가지 측면에서 일반화하는 프레임워크인 혼합 개념 병목 현상 전문가 모델(M-CBE)을 제안합니다. 이를 통해 기존 연구에서 탐구되지 않았던 설계 공간을 활용할 수 있습니다. 우리는 이 영역을 탐색하기 위해 두 가지 새로운 모델을 제시합니다. 첫 번째는 유한한 집합의 선형 표현식을 학습하는 선형 M-CBE이고, 두 번째는 사용자가 지정한 연산자 어휘를 사용하여 데이터로부터 전문가 함수를 발견하기 위해 기호 회귀를 활용하는 기호 M-CBE입니다. 실험 결과는 혼합 크기와 함수 형태를 다양하게 조정하면 정확성과 해석 가능성 사이의 균형을 조절하는 강력한 프레임워크를 제공하며, 다양한 사용자 및 작업 요구 사항에 적응할 수 있음을 보여줍니다.

Concept Bottleneck Models (CBMs) promote interpretability by grounding predictions in human-understandable concepts. However, existing CBMs typically fix their task predictor to a single linear or Boolean expression, limiting both predictive accuracy and adaptability to diverse user needs. We propose Mixture of Concept Bottleneck Experts (M-CBEs), a framework that generalizes existing CBMs along two dimensions: the number of experts and the functional form of each expert, exposing an underexplored region of the design space. We investigate this region by instantiating two novel models: Linear M-CBE, which learns a finite set of linear expressions, and Symbolic M-CBE, which leverages symbolic regression to discover expert functions from data under user-specified operator vocabularies. Empirical evaluation demonstrates that varying the mixture size and functional form provides a robust framework for navigating the accuracy-interpretability trade-off, adapting to different user and task needs.