이미지 분류 신경망에서 높은 가중치를 가진 뉴런이 중요한 역할을 하는가?

Are the High-weight Neurons the Important Ones in Image Classification Neural Networks?

이미지 분류를 위한 신경망 모델이 발전함에 따라, 뉴런은 가지치기, 백도어 방어 및 해석 가능성 측면에서 중요한 역할을 수행합니다. 그러나 기존 연구에서는 가중치와 중요도의 관계에 대한 명확성이 부족합니다. 본 연구에서는 세 가지 실험을 통해 뉴런의 중요도를 평가하는 방법을 제시합니다. 첫째, 높은 가중치를 가진 뉴런과 정확도에 영향을 미치는 뉴런 간의 중복 정도를 정량화합니다. 둘째, 높은 가중치를 가진 뉴런의 변화가 모델 성능에 미치는 영향을 분석합니다. 셋째, 고가중치 뉴런을 제거한 후 재학습했을 때의 정확도를 테스트합니다. CIFAR-10 및 Mini-ImageNet 데이터셋에서의 실험 결과는 중요한 패턴을 보여줍니다. 중복 분석 결과, 상위 10%의 높은 가중치를 가진 뉴런 중 약 25%만이 중요한 뉴런과 일치하며, 이후 구간에서는 이 비율이 더욱 감소합니다. 변화 테스트 결과, 상위 10%의 고가중치 뉴런은 특정 연산에서 45-80%의 정확도 저하를 유발하는 반면, 무작위 변화는 3-7%의 저하만 발생하지만, 그 중 약 3분의 1은 미미한 영향을 미칩니다. 고가중치 뉴런을 제거하고 재학습한 결과, 상위 10%의 고가중치 뉴런을 제거하면 정확도가 기준보다 10-20% 낮아지며 회복되지 않습니다. 반면, 상위 0.1%를 제거하는 경우에는 거의 완전한 복구가 가능합니다. 주목할 점은 일부 낮은 가중치를 가진 구간에서도 변화 시 10-17%의 성능 저하가 나타나는데, 이는 중간 범위의 고가중치 뉴런과 유사한 수준입니다. 이러한 결과는 모든 고가중치 뉴런이 중요한 것은 아니며, 그 중요도가 비선형적이라는 것을 확인시켜줍니다. 또한 낮은 가중치를 가진 뉴런도 상당한 기여를 합니다. 이러한 연구 결과는 가중치와 중요도의 동등성을 부정하며, 뉴런의 역할에 대한 더욱 세밀한 이해를 제공합니다. 이는 암호화에서 중요한 고가중치 뉴런을 우선시하고, 비필수적인 뉴런을 제거하는 가지치기 기술 발전에 기여할 수 있습니다.

As neural network models for image classification advance, neurons play critical roles in pruning, backdoor defense, and interpretability. Yet existing work lacks clarity on the weight-importance relationship. We address this with a neuron importance assessment method using three experiments: quantifying overlap between high-weight and accuracy-impacting neurons, analyzing high-weight neuron perturbation effects, and testing post-retraining accuracy after high-weight neuron ablation. Experiments on CIFAR-10 and Mini-ImageNet reveal key patterns. Overlap analysis shows top 10\% high-weight neurons overlap with important ones by only about 25\% at maximum, dropping further in subsequent intervals. Perturbation tests find top 10\% high-weight neurons cause 45-80\% accuracy degradation under certain operations compared to 3-7\% for random perturbations, but a third of them show minimal impact. Ablation-retraining results show removing top 10\% high-weight neurons leaves accuracy 10-20\% below baseline with no recovery, while ablating top 0.1\% allows near-full recovery. Notably, some low-weight intervals show 10-17\% degradation when perturbed, comparable to mid-range high-weight neurons. These results confirm not all high-weight neurons are important: their importance is nonlinear. Low-weight neurons also contribute significantly. This challenges weight-importance equivalence, offering refined neuron role insights. It supports applications like encryption prioritizing critical high-weight neurons and pruning removing non-critical ones, advancing neural network analysis.