키르히호프 법칙에 영감을 받은 신경망을 이용한 고차원 인식

Kirchhoff-Inspired Neural Networks for Evolving High-Order Perception

심층 학습 아키텍처는 신경과학, 특히 뇌의 감각 경로 구조에서 영감을 받아 개발되었으며, 정보 추출에 탁월한 성능을 보입니다. 이러한 아키텍처는 생물학적 뉴런의 통신 메커니즘을 모방하지만, 정보 인코딩 및 전송 전략은 근본적으로 다릅니다. 생물학적 시스템은 막 전위의 동적 변화에 의존하는 반면, 기존의 심층 신경망은 신경 간 연결의 강도를 조정하여 가중치와 편향을 최적화하며, 신호 강도, 결합 구조 및 상태 진화 간의 상호 작용을 체계적으로 특성화하는 메커니즘이 부족합니다. 이러한 한계를 극복하기 위해, 우리는 키르히호프 법칙에 영감을 받은 신경망(KINN)을 제안합니다. KINN은 키르히호프의 전류 법칙을 기반으로 하는 상태 변수 기반의 네트워크 아키텍처이며, 기본적인 상미분 방정식을 통해 수치적으로 안정적인 상태 업데이트를 도출합니다. 이를 통해 KINN은 단일 레이어 내에서 고차원적인 진화적 구성 요소를 명시적으로 분리하고 인코딩할 수 있으며, 물리적 일관성, 해석 가능성 및 엔드투엔드 학습 가능성을 유지합니다. 부분 미분 방정식(PDE) 해결 및 ImageNet 이미지 분류에 대한 광범위한 실험 결과, KINN이 최첨단 기존 방법보다 우수한 성능을 보이는 것을 확인했습니다.

Deep learning architectures are fundamentally inspired by neuroscience, particularly the structure of the brain's sensory pathways, and have achieved remarkable success in learning informative data representations. Although these architectures mimic the communication mechanisms of biological neurons, their strategies for information encoding and transmission are fundamentally distinct. Biological systems depend on dynamic fluctuations in membrane potential; by contrast, conventional deep networks optimize weights and biases by adjusting the strengths of inter-neural connections, lacking a systematic mechanism to jointly characterize the interplay among signal intensity, coupling structure, and state evolution. To tackle this limitation, we propose the Kirchhoff-Inspired Neural Network (KINN), a state-variable-based network architecture constructed based on Kirchhoff's current law. KINN derives numerically stable state updates from fundamental ordinary differential equations, enabling the explicit decoupling and encoding of higher-order evolutionary components within a single layer while preserving physical consistency, interpretability, and end-to-end trainability. Extensive experiments on partial differential equation (PDE) solving and ImageNet image classification validate that KINN outperforms state-of-the-art existing methods.