개념 기반 모델에서의 정보 누수에 대한 옹호

In Defense of Information Leakage in Concept-based Models

개념 기반 모델(CM)은 인간이 이해할 수 있는 개념(예: "둥근", "줄무늬" 등)에 기반한 표현을 사용하여 예측을 수행하는 심층 신경망입니다. 이러한 CM들은 개념과 관련 없는 정보를 누설하는 표현을 학습하는 것으로 나타났습니다. 일반적으로 이러한 정보 누수는 바람직하지 않으며 해석 불가능한 모델로 이어지기 때문에 제거해야 한다고 여겨집니다. 본 논문에서는 CM에서 발생하는 정보 누수에 대한 기존의 관점이, 누설이 모델의 해석 가능성을 저해한다는 증거가 종종 명확하지 않은 경우, 잘못 설정되었을 뿐만 아니라 일반적인 현실 제약 하에서 비현실적인 CM으로 이어질 수 있다고 주장합니다. 특히, 실제 환경에서는 개념 불완전성이 흔히 발생하므로, 정확하고 개입 가능한 CM을 구축하기 위해서는 어느 정도의 누설이 필요할 수 있습니다. 이에 따라, 우리는 ' benign leakage (긍정적 누설)'라는 개념을 제시하며, 일반적인 CM 학습 목표를 재구성하여 최적화함으로써 CM이 정확성이나 개입 가능성을 희생하지 않고도 이러한 형태의 누설을 장려하고 활용할 수 있음을 보여줍니다.

Concept-based models (CMs), deep neural networks that ground their predictions on representations aligned with human-understandable concepts (e.g., "round", "stripes", etc.), have been shown to learn representations that leak concept-irrelevant information. As the traditional narrative goes, this leakage is undesirable and should be eradicated as it leads to uninterpretable models. In this paper, we posit that this conventional view of leakage in CMs is not only ill-posed, as the evidence of how leakage makes a model less interpretable is often inconclusive, but also bound to lead to impractical CMs under common real-world constraints. Specifically, we argue that in real-world settings where concept incompleteness is the norm, some leakage is often necessary for constructing accurate and intervenable CMs. To this end, we propose that there is such a thing as benign leakage and show that, by optimizing a reframing of the typical CM training objective, CMs can encourage and exploit this form of leakage without sacrificing accuracy or intervenability.