신경망 기반 가법 전문가 (Neural Additive Experts): 제어 가능한 모델 가법성을 위한 컨텍스트 게이팅 전문가

Neural Additive Experts: Context-Gated Experts for Controllable Model Additivity

머신러닝에서 해석 가능성과 정확성 간의 균형은 핵심적인 과제입니다. 기존의 가법 일반화 모델 (GAM)은 명확한 특징 기여도를 제공하지만, 엄격하게 가법적인 특성으로 인해 예측 성능이 제한되는 경우가 많습니다. 특징 상호 작용을 도입하면 정확도를 높일 수 있지만, 개별 특징의 기여도를 흐릴 수 있습니다. 이러한 문제를 해결하기 위해, 우리는 해석 가능성과 정확성을 균형 있게 조화시키는 새로운 프레임워크인 신경망 기반 가법 전문가 (NAE)를 제안합니다. NAE는 각 특징에 대해 여러 개의 특수 네트워크를 학습하는 전문가 혼합 프레임워크를 사용하며, 동적인 게이팅 메커니즘을 통해 특징 간 정보를 통합하여 엄격한 가법 제약을 완화합니다. 또한, 전문가 예측 간의 분산을 줄이기 위한 특화된 정규화 기법을 제안하여, 완전히 가법적인 모델에서 복잡한 특징 상호 작용을 포착하는 모델로 부드럽게 전환하면서도 특징 기여도의 명확성을 유지합니다. 이론적 분석과 합성 데이터 실험을 통해 모델의 유연성을 입증했으며, 실제 데이터 세트에 대한 광범위한 평가를 통해 NAE가 예측 정확성과 투명한 특징 수준 설명을 최적으로 균형을 이룬다는 것을 확인했습니다. 코드 및 관련 정보는 https://github.com/Teddy-XiongGZ/NAE 에서 확인할 수 있습니다.

The trade-off between interpretability and accuracy remains a core challenge in machine learning. Standard Generalized Additive Models (GAMs) offer clear feature attributions but are often constrained by their strictly additive nature, which can limit predictive performance. Introducing feature interactions can boost accuracy yet may obscure individual feature contributions. To address these issues, we propose Neural Additive Experts (NAEs), a novel framework that seamlessly balances interpretability and accuracy. NAEs employ a mixture of experts framework, learning multiple specialized networks per feature, while a dynamic gating mechanism integrates information across features, thereby relaxing rigid additive constraints. Furthermore, we propose targeted regularization techniques to mitigate variance among expert predictions, facilitating a smooth transition from an exclusively additive model to one that captures intricate feature interactions while maintaining clarity in feature attributions. Our theoretical analysis and experiments on synthetic data illustrate the model's flexibility, and extensive evaluations on real-world datasets confirm that NAEs achieve an optimal balance between predictive accuracy and transparent, feature-level explanations. The code is available at https://github.com/Teddy-XiongGZ/NAE.