진화 게임 이론 관점에서 본 단축 학습의 해독

Deciphering Shortcut Learning from an Evolutionary Game Theory Perspective

단축 학습은 심층 학습 모델이 데이터 내의 불필요한 특징에 의존하게 만드는 원인입니다. 하지만, 심층 신경망 훈련 과정에서 단축 학습이 어떻게 형성되는지에 대한 이론적인 이해는 아직 부족합니다. 본 논문에서는 핵심 특징과 단축 특징에 대한 형식적인 정의를 제시하고, 데이터 샘플을 플레이어, 그리고 각 샘플에 대응하는 신경망 접선 특징을 전략으로 간주하여, 핵심 및 단축 하위 네트워크의 존재를 가정하고, 진화 게임 이론을 활용하여 단축 편향의 기원을 분석합니다. 분석 결과, 경사 하강법(GD)과 확률적 경사 하강법(SGD)은 서로 다른 전략에 해당하는 두 가지 뚜렷한 확률적 안정 상태로 수렴합니다. GD는 주로 단축 하위 네트워크를 최적화하는 반면, SGD는 주로 핵심 하위 네트워크를 최적화합니다. 이러한 전략들이 단축 편향에 미치는 영향을 연속적인 확률 미분 방정식을 통해 조사하고, 데이터 노이즈와 최적화 노이즈가 단축 편향 형성에 미치는 영향을 밝혀냅니다. 요약하자면, 본 연구는 진화 게임 이론을 활용하여 단축 편향 형성의 동역학을 규명하고, 그 완화에 대한 이론적인 관점을 제공합니다.

Shortcut learning causes deep learning models to rely on non-essential features within the data. However, its formation in deep neural network training still lacks theoretical understanding. In this paper, we provide a formal definition of core and shortcut features and employ evolutionary game theory to analyze the origins of shortcut bias by modeling data samples as players and their corresponding neural tangent features as strategies, assuming the existence of core and shortcut subnetworks. We find that gradient descent (GD) and stochastic gradient descent (SGD) lead to two distinct stochastically stable states, each corresponding to a different strategy. The former primarily optimizes the shortcut subnetwork, while the latter primarily optimizes the core subnetwork. We investigate the influence of these strategies on shortcut bias through a continuous stochastic differential equation, and reveal the impact of data noise and optimization noise on the formation of shortcut bias. In brief, our work employs evolutionary game theory to characterize the dynamics of shortcut bias formation and provides a theoretical view on its mitigation.