부트스트래핑을 이용한 어텐션 스코어 정규화

Regularizing Attention Scores with Bootstrapping

비전 트랜스포머(ViT)는 입력 특징에 가중치를 부여하기 위해 어텐션 메커니즘에 의존하며, 따라서 어텐션 스코어는 의사 결정 과정에 대한 설명으로 간주되어 왔습니다. 그러나 어텐션 스코어는 거의 항상 0이 아니므로, 노이즈가 많고 분산된 어텐션 맵을 생성하여 해석 가능성을 제한합니다. 어텐션 스코어의 불확실성 척도를 정량화하고 정규화된 어텐션 스코어를 얻을 수 있을까요? 이를 위해, 우리는 ViT의 어텐션 스코어를 독립적인 노이즈가 무시할 만한 값이지만 0이 아닌 스코어를 생성하는 통계적 프레임워크 내에서 고려합니다. 통계적 학습 기술을 활용하여, 입력 특징을 재샘플링하여 어텐션 스코어의 기준 분포를 생성하는 부트스트래핑을 어텐션 스코어에 적용합니다. 이러한 부트스트랩 분포는 어텐션 스코어의 중요도와 사후 확률을 추정하는 데 사용됩니다. 자연 이미지 및 의료 이미지에서 제안하는 extit{어텐션 정규화} 접근 방식은 노이즈로 인해 발생하는 잘못된 어텐션을 효과적으로 제거하여, 맵의 크기를 줄이고 희소성을 크게 향상시킵니다. 제안하는 방법은 시뮬레이션 및 실제 데이터 세트를 사용하여 정량적으로 평가되었습니다. 본 연구는 ViT의 설명으로 어텐션 스코어를 사용할 때 부트스트래핑이 실용적인 정규화 도구임을 강조합니다. 코드: https://github.com/ncchung/AttentionRegularization

Vision transformers (ViT) rely on attention mechanism to weigh input features, and therefore attention scores have naturally been considered as explanations for its decision-making process. However, attention scores are almost always non-zero, resulting in noisy and diffused attention maps and limiting interpretability. Can we quantify uncertainty measures of attention scores and obtain regularized attention scores? To this end, we consider attention scores of ViT in a statistical framework where independent noise would lead to insignificant yet non-zero scores. Leveraging statistical learning techniques, we introduce the bootstrapping for attention scores which generates a baseline distribution of attention scores by resampling input features. Such a bootstrap distribution is then used to estimate significances and posterior probabilities of attention scores. In natural and medical images, the proposed \emph{Attention Regularization} approach demonstrates a straightforward removal of spurious attention arising from noise, drastically improving shrinkage and sparsity. Quantitative evaluations are conducted using both simulation and real-world datasets. Our study highlights bootstrapping as a practical regularization tool when using attention scores as explanations for ViT. Code available: https://github.com/ncchung/AttentionRegularization