합리적 ANOVA 네트워크

Rational ANOVA Networks

심층 신경망은 일반적으로 비선형성을 고정된 기본 요소(예: ReLU)로 취급하여 해석 가능성과 유도된 함수 클래스에 대한 제어 수준을 제한합니다. 최근의 가산 모델(예: KAN)은 스플라인을 사용하여 이러한 문제를 해결하려고 시도하지만, 종종 계산 효율성이 낮고 경계 불안정성을 겪습니다. 본 논문에서는 함수 ANOVA 분해 및 Padé 형식의 유리수 근사법에 기반한 기본적인 아키텍처인 합리적 ANOVA 네트워크(RAN)를 제안합니다. RAN은 f(x)를 주 효과와 희소한 쌍방향 상호작용의 조합으로 모델링하며, 각 구성 요소는 안정적이고 학습 가능한 유리수 단위로 매개변수화됩니다. 특히, 분모가 엄격하게 양수 값을 갖도록 강제하여 극점과 수치적 불안정성을 방지하고, 다항식 기반보다 날카로운 전환과 거의 특이한 동작을 보다 효율적으로 포착합니다. 이 ANOVA 구조는 데이터 효율성과 해석 가능성을 위한 명시적인 저차 상호작용 편향을 제공하며, 유리수 매개변수화는 외삽 성능을 크게 향상시킵니다. 제어된 함수 벤치마크 및 시각 분류 작업(예: CIFAR-10)에서 동일한 매개변수 및 컴퓨팅 예산 하에 RAN은 매개변수적으로 일치하는 MLP 및 학습 가능한 활성화 기준 모델과 동등하거나 우수한 성능을 보이며, 더 나은 안정성과 처리량을 제공합니다. 코드는 https://github.com/jushengzhang/Rational-ANOVA-Networks.git 에서 확인할 수 있습니다.

Deep neural networks typically treat nonlinearities as fixed primitives (e.g., ReLU), limiting both interpretability and the granularity of control over the induced function class. While recent additive models (like KANs) attempt to address this using splines, they often suffer from computational inefficiency and boundary instability. We propose the Rational-ANOVA Network (RAN), a foundational architecture grounded in functional ANOVA decomposition and Padé-style rational approximation. RAN models f(x) as a composition of main effects and sparse pairwise interactions, where each component is parameterized by a stable, learnable rational unit. Crucially, we enforce a strictly positive denominator, which avoids poles and numerical instability while capturing sharp transitions and near-singular behaviors more efficiently than polynomial bases. This ANOVA structure provides an explicit low-order interaction bias for data efficiency and interpretability, while the rational parameterization significantly improves extrapolation. Across controlled function benchmarks and vision classification tasks (e.g., CIFAR-10) under matched parameter and compute budgets, RAN matches or surpasses parameter-matched MLPs and learnable-activation baselines, with better stability and throughput. Code is available at https://github.com/jushengzhang/Rational-ANOVA-Networks.git.