심층 가중치 공간에서의 추론 과정에 대한 동적 신경망 그래프 인코딩

Dynamic Neural Graph Encoding of Inference Processes in Deep Weight Space

신경망을 암묵적인 데이터 표현으로 사용하는 기술의 빠른 발전은 다른 신경망의 가중치 공간을 분석하고 처리하는 머신 러닝 방법 개발에 큰 관심을 불러일으켰습니다. 그러나 이러한 고차원 가중치 공간을 효율적으로 다루는 것은 여전히 어려운 과제입니다. 기존 방법들은 종종 신경망 추론 과정에서 발생하는 계층별 처리의 순차적인 특성을 간과합니다. 본 연구에서는 신경망 파라미터를 표현하기 위한 동적 그래프를 사용하는 새로운 방법을 제안하며, 이를 통해 추론의 시간적 역학을 포착합니다. 우리의 동적 신경망 그래프 인코더(DNG-Encoder)는 이러한 그래프를 처리하여 신경망 처리의 순차적인 특성을 유지합니다. 또한, DNG-Encoder를 활용하여 INR2JLS(Implicit Neural Representation to Joint Latent Space)를 개발하여 암묵적인 신경망 표현(INRs) 분류와 같은 후속 응용 분야를 지원합니다. 제안하는 방법은 여러 작업에서 상당한 성능 향상을 보여주며, CIFAR-100-INR 데이터셋에서 기존의 최첨단 INR 분류 정확도를 약 10% 이상 능가했습니다.

The rapid advancements in using neural networks as implicit data representations have attracted significant interest in developing machine learning methods that analyze and process the weight spaces of other neural networks. However, efficiently handling these highdimensional weight spaces remains challenging. Existing methods often overlook the sequential nature of layer-by-layer processing in neural network inference. In this work, we propose a novel approach using dynamic graphs to represent neural network parameters, capturing the temporal dynamics of inference. Our Dynamic Neural Graph Encoder (DNG-Encoder) processes these graphs, preserving the sequential nature of neural processing. Additionally, we also leverage DNG-Encoder to develop INR2JLS (Implicit Neural Representation to Joint Latent Space) for facilitate downstream applications, such as classifying Implicit Neural Representations (INRs). Our approach demonstrates significant improvements across multiple tasks, surpassing the state-of-the-art INR classification accuracy by approximately 10% on the CIFAR-100-INR.