메타 가법 모델: 자동 가중치를 이용한 해석 가능한 희소 학습

Meta Additive Model: Interpretable Sparse Learning With Auto Weighting

희소 가법 모델은 유연한 표현력과 뛰어난 해석 가능성 덕분에 고차원 데이터 분석에서 많은 관심을 받고 있습니다. 그러나 대부분의 기존 모델은 평균 제곱 오차 기준 하에서 단일 수준 학습을 수행하며, 비정규 분포의 노이즈, 이상치, 노이즈가 많은 레이블 및 불균형 카테고리와 같은 복잡한 노이즈가 존재하는 경우 실제 성능이 크게 저하될 수 있습니다. 샘플 재가중 전략은 모델의 비정상 데이터에 대한 민감도를 줄이는 데 널리 사용되지만, 일반적으로 가중 함수를 미리 지정하고 추가 하이퍼파라미터를 수동으로 선택해야 합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 메타 데이터에 대해 훈련된 MLP를 통해 가중 함수를 매개변수화하여 개별 손실에 대한 데이터 기반 가중치를 학습하는 이중 최적화 프레임워크를 기반으로 하는 새로운 메타 가법 모델(MAM)을 제안합니다. MAM은 변수 선택, 강력한 회귀 추정 및 불균형 분류을 포함한 다양한 학습 작업에 적용될 수 있습니다. 이론적으로, MAM은 약한 조건 하에서 계산 수렴, 알고리즘 일반화 및 변수 선택 일관성에 대한 보장을 제공합니다. 실험적으로, MAM은 다양한 데이터 손상 조건 하에서 합성 데이터 및 실제 데이터에 대해 최첨단 가법 모델보다 우수한 성능을 보였습니다.

Sparse additive models have attracted much attention in high-dimensional data analysis due to their flexible representation and strong interpretability. However, most existing models are limited to single-level learning under the mean-squared error criterion, whose empirical performance can degrade significantly in the presence of complex noise, such as non-Gaussian perturbations, outliers, noisy labels, and imbalanced categories. The sample reweighting strategy is widely used to reduce the model's sensitivity to atypical data; however, it typically requires prespecifying the weighting functions and manually selecting additional hyperparameters. To address this issue, we propose a new meta additive model (MAM) based on the bilevel optimization framework, which learns data-driven weighting of individual losses by parameterizing the weighting function via an MLP trained on meta data. MAM is capable of a variety of learning tasks, including variable selection, robust regression estimation, and imbalanced classification. Theoretically, MAM provides guarantees on convergence in computation, algorithmic generalization, and variable selection consistency under mild conditions. Empirically, MAM outperforms several state-of-the-art additive models on both synthetic and real-world data under various data corruptions.