LiNC: 샘플별 신뢰도 및 가우시안 혼합 모델을 이용한 경량 노이즈 보정

LiNC: Lightweight Noise Correction via Per-Sample Trust and Gaussian Mixture Modeling

의료 영상 데이터셋에서 레이블 노이즈는 평가자 간의 불일치, 어노테이션 오류 및 모호한 사례 등으로 인해 흔히 발생하며, 이는 해당 데이터셋으로 학습된 머신러닝 모델의 신뢰성과 임상적 효능을 심각하게 저해할 수 있습니다. 이러한 문제를 해결하기 위해, 우리는 샘플별 신뢰도를 활용하고 표준 학습 루프에서 관측된 레이블과 모델 예측 분포 중 어느 것을 사용할지 학습하는 경량 노이즈 보정(LiNC) 방법을 제안합니다. 핵심 아이디어는 관측된 레이블과 모델의 예측 분포를 샘플별 신뢰도 파라미터에 의해 조절되는 볼록 결합으로 사용하여 학습한다는 것입니다. 우리는 이 목적 함수의 기울기가 초기 학습 단계에서 깨끗한 샘플과 노이즈가 있는 샘플에 대해 서로 반대 방향으로 신뢰도 값을 유도하여 분리 가능한 신뢰도 분포를 생성함을 보여줍니다. 우리는 3가지 구성 요소로 이루어진 가우시안 혼합 모델을 사용하여 신뢰도 값을 깨끗한 경우, 모호한 경우 및 노이즈가 있는 경우로 구분하고, 이어서 노이즈가 있는 샘플에 대해 짧은 소프트 보정 단계를 수행한 후 최종적인 하드 보정 단계를 적용합니다. MedMNISTv2에서 제공하는 10개의 2D 데이터셋에 대한 실험 결과, 최대 50%의 레이블 노이즈 환경에서도 정확도 향상과 강력한 오분류 탐지 능력을 보여주었습니다. LiNC는 무시할 만한 비효율성을 추가하며, 학습 시간 복잡도는 기본 네트워크에 의해 지배되며, 추가적인 메모리는 학습 데이터셋 크기에 따라 선형적으로 증가합니다.

Label noise is common in medical imaging datasets due to factors such as inter-rater variability, annotation errors, and ambiguous cases. This can severely undermine the reliability and clinical effectiveness of machine learning models trained using those datasets. To address this challenge, we introduce Lightweight Noise Correction (LiNC), which adds a single trainable trust parameter per training sample and learns when to use the observed label and when to defer to the model during a standard training loop. The key idea is to train using a convex combination of the observed label and the model's own predictive distribution, controlled by a per-sample trust parameter. We show that the gradient of this objective drives trust values in opposite directions for clean versus noisy samples in the early training phase, yielding separable trust distributions. We use a 3-component Gaussian Mixture Model over the trust values to separate them into clean, ambiguous, and noisy cases and then execute a short soft-correction phase on the noisy cases and a final hard correction phase. Experiments on ten 2D datasets from MedMNISTv2 under label noise of up to 50% show consistent gains in accuracy and strong mislabel detection. LiNC adds negligible asymptotic overhead: the training-time complexity remains dominated by the base network, with additional memory growing linearly with the size of the training set.