콜모고로프-아르노 네트워크 학습을 위한 그래프 메타 네트워크

A Graph Meta-Network for Learning on Kolmogorov-Arnold Networks

웨이트 공간 모델은 신경망의 파라미터로부터 직접 학습하여, 새로운 데이터셋에 대한 정확도 예측과 같은 작업을 수행할 수 있습니다. 단순한 방법, 예를 들어 평탄화된 파라미터에 다층 퍼셉트론(MLP)을 적용하는 방식은 성능이 좋지 않아, 더 나은 웨이트 공간 아키텍처를 설계하는 것이 중요한 과제입니다. 기존 연구에서는 표준 네트워크의 순열 대칭성을 활용하여 이러한 설계를 안내했지만, 콜모고로프-아르노 네트워크(KAN)에 대한 유사한 분석이나 맞춤형 아키텍처는 아직 존재하지 않았습니다. 본 연구에서는 KAN이 MLP와 동일한 순열 대칭성을 공유한다는 것을 보여주고, KAN의 계산을 그래프로 표현한 KAN-그래프를 제안합니다. 이를 바탕으로, KAN에 대한 첫 번째 웨이트 공간 아키텍처인 WS-KAN을 개발했습니다. WS-KAN은 KAN의 대칭성을 자연스럽게 고려합니다. 우리는 WS-KAN의 표현력을 분석하여, 입력 KAN의 순전파 과정을 복제할 수 있음을 보여줍니다. 이는 웨이트 공간 아키텍처의 표현력을 평가하는 데 사용되는 일반적인 방법입니다. 우리는 다양한 작업에 걸쳐 학습된 KAN들의 종합적인 데이터셋을 구축하고, 이를 WS-KAN의 경험적 평가를 위한 벤치마크로 사용했습니다. 모든 작업에서 WS-KAN은 구조에 독립적인 기본 모델보다 일관되게 더 높은 성능을 보이며, 종종 상당한 차이를 보입니다. 우리의 코드는 https://github.com/BarSGuy/KAN-Graph-Metanetwork 에서 확인할 수 있습니다.

Weight-space models learn directly from the parameters of neural networks, enabling tasks such as predicting their accuracy on new datasets. Naive methods -- like applying MLPs to flattened parameters -- perform poorly, making the design of better weight-space architectures a central challenge. While prior work leveraged permutation symmetries in standard networks to guide such designs, no analogous analysis or tailored architecture yet exists for Kolmogorov-Arnold Networks (KANs). In this work, we show that KANs share the same permutation symmetries as MLPs, and propose the KAN-graph, a graph representation of their computation. Building on this, we develop WS-KAN, the first weight-space architecture that learns on KANs, which naturally accounts for their symmetry. We analyze WS-KAN's expressive power, showing it can replicate an input KAN's forward pass - a standard approach for assessing expressiveness in weight-space architectures. We construct a comprehensive ``zoo'' of trained KANs spanning diverse tasks, which we use as benchmarks to empirically evaluate WS-KAN. Across all tasks, WS-KAN consistently outperforms structure-agnostic baselines, often by a substantial margin. Our code is available at https://github.com/BarSGuy/KAN-Graph-Metanetwork.