MetaErr: 심층 신경망의 오류 패턴 예측을 향하여

MetaErr: Towards Predicting Error Patterns in Deep Neural Networks

심층 학습의 놀라운 성공으로 인해, 이는 오늘날의 다양한 멀티미디어 컴퓨팅 애플리케이션에서 필수적인 구성 요소가 되었습니다. 불행히도, 심층 학습 시스템은 완벽하지 않으며 때로는 경고나 설명 없이 갑자기 실패할 수 있습니다. 멀티미디어 분야에서는 심층 신경망의 오류율을 줄이는 데 주력해 왔지만, 심층 학습 시스템이 언제 실패할지 예측하는 문제는 상대적으로 연구가 부족했습니다. 본 논문에서는 심층 학습 연구에서 간과되어 온 이 문제를 해결하기 위한 간단하면서도 효과적인 프레임워크인 MetaErr을 제안합니다. MetaErr은 기본 심층 신경망이 특정 데이터 샘플에 대해 성공하거나 실패할지 예측하는 것을 목표로 하는 메타 모델을 학습합니다. 메타 모델은 기본 모델의 아키텍처 및 학습 파라미터에 대해 완전히 독립적입니다. 이러한 오류 예측 시스템은 다양한 스마트 멀티미디어 애플리케이션에서 매우 유용할 수 있습니다. 우리의 경험적 연구는 경쟁적인 기준과 비교했을 때, 우리의 프레임워크가 가진 잠재력과 가능성을 뒷받침합니다. 또한, 우리의 프레임워크가 준지도 학습에서 가짜 레이블 기반 성능을 향상시키는 데 어떻게 활용될 수 있는지 보여주고, MetaErr이 세 개의 벤치마크 컴퓨터 비전 데이터 세트에서 여러 강력한 기준 모델보다 우수한 성능을 발휘한다는 것을 입증합니다.

Due to the unprecedented success of deep learning, it has become an integral component in several multimedia computing applications in todays world. Unfortunately, deep learning systems are not perfect and can fail, sometimes abruptly, without prior warning or explanation. While reducing the error rate of deep neural networks has been the primary focus of the multimedia community, the problem of predicting when a deep learning system is going to fail has received significantly less research attention. In this paper, we propose a simple yet effective framework, MetaErr, to address this under-explored problem in deep learning research. We train a meta-model whose goal is to predict whether a base deep neural network will succeed or fail in predicting a particular data sample, by observing the base models performance on a given learning task. The meta-model is completely agnostic of the architecture and training parameters of the base model. Such an error prediction system can be immensely useful in a variety of smart multimedia applications. Our empirical studies corroborate the promise and potential of our framework against competing baselines. We further demonstrate the usefulness of our framework to improve the performance of pseudo-labeling-based semi-supervised learning, and show that MetaErr outperforms several strong baselines on three benchmark computer vision datasets.