전역 방향을 이용한 헵 학습

Hebbian Learning with Global Direction

역전파 알고리즘은 심층 신경망의 놀라운 성공을 이끌었으나, 생물학적 타당성의 결여와 높은 연산 비용으로 인해 이를 대체할 학습 방법에 대한 지속적인 연구가 이루어지고 있다. 헵 학습(Hebbian learning)은 역전파의 생물학적으로 타당한 대안으로서 큰 관심을 받아왔다. 그러나 전역 작업 목표를 고려하지 않고 오로지 국소 정보에만 의존하는 특성은 그 확장성을 근본적으로 제한한다. 본 논문에서는 신경조절물질과 국소 가소성 간의 생물학적 시너지에서 영감을 받아, 국소 정보와 전역 정보를 유기적으로 통합하여 다양한 네트워크와 작업으로 확장 가능한 새로운 모델 불가지론적 '전역 유도 헵 학습(GHL)' 프레임워크를 제안한다. 구체적으로, 국소 요소는 경쟁 학습이 적용된 Oja 규칙을 사용하여 안정적이고 효과적인 국소 업데이트를 보장한다. 반면, 전역 요소는 국소 헵 가소성 업데이트의 방향을 유도하는 부호 기반 신호를 도입한다. 광범위한 실험을 통해 제안하는 방법이 기존 헵 학습 접근법들을 일관되게 능가함을 입증하였다. 특히 ImageNet과 같은 대규모 네트워크 및 복잡한 데이터셋에서 본 프레임워크는 경쟁력 있는 결과를 달성하였으며, 표준 역전파 알고리즘과의 성능 격차를 크게 좁혔다.

Backpropagation algorithm has driven the remarkable success of deep neural networks, but its lack of biological plausibility and high computational costs have motivated the ongoing search for alternative training methods. Hebbian learning has attracted considerable interest as a biologically plausible alternative to backpropagation. Nevertheless, its exclusive reliance on local information, without consideration of global task objectives, fundamentally limits its scalability. Inspired by the biological synergy between neuromodulators and local plasticity, we introduce a novel model-agnostic Global-guided Hebbian Learning (GHL) framework, which seamlessly integrates local and global information to scale up across diverse networks and tasks. In specific, the local component employs Oja's rule with competitive learning to ensure stable and effective local updates. Meanwhile, the global component introduces a sign-based signal that guides the direction of local Hebbian plasticity updates. Extensive experiments demonstrate that our method consistently outperforms existing Hebbian approaches. Notably, on large-scale network and complex datasets like ImageNet, our framework achieves the competitive results and significantly narrows the gap with standard backpropagation.