S2MAM: 강건한 추정과 변수 선택을 위한 준지도 메타 적분 모델

S2MAM: Semi-supervised Meta Additive Model for Robust Estimation and Variable Selection

준지도 학습은 레이블이 있는 데이터와 레이블이 없는 데이터를 함께 학습하는 고전적인 프레임워크이며, 이 방법의 핵심은 알려지지 않은 주변 분포의 지지 집합이 리만 다양체의 기하학적 구조를 갖는다는 전제입니다. 일반적으로, Laplace-Beltrami 연산자 기반의 다양체 정규화는 전체 훈련 데이터와 해당 그래프 Laplacian 행렬과 관련된 Laplacian 정규화를 통해 경험적으로 근사할 수 있습니다. 그러나 그래프 Laplacian 행렬은 미리 정의된 유사성 측정 방법에 크게 의존하며, 중복되거나 노이즈가 많은 입력 변수를 처리할 때 부적절한 페널티를 초래할 수 있습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 정보적인 변수를 자동으로 식별하고, 유사성 행렬을 업데이트하며, 동시에 해석 가능한 예측을 달성하는 양층 최적화 체계를 기반으로 하는 새로운 extit{준지도 메타 적분 모델 (S$^2$MAM)}을 제안합니다. S$^2$MAM에 대한 이론적 보장이 제공되며, 여기에는 계산 수렴성과 통계적 일반화 경계가 포함됩니다. 다양한 수준과 범주의 노이즈가 존재하는 4개의 합성 데이터셋과 12개의 실제 데이터셋에 대한 실험적 평가를 통해 제안된 방법의 강건성과 해석 가능성을 검증했습니다.

Semi-supervised learning with manifold regularization is a classical framework for jointly learning from both labeled and unlabeled data, where the key requirement is that the support of the unknown marginal distribution has the geometric structure of a Riemannian manifold. Typically, the Laplace-Beltrami operator-based manifold regularization can be approximated empirically by the Laplacian regularization associated with the entire training data and its corresponding graph Laplacian matrix. However, the graph Laplacian matrix depends heavily on the prespecified similarity metric and may lead to inappropriate penalties when dealing with redundant or noisy input variables. To address the above issues, this paper proposes a new \textit{Semi-Supervised Meta Additive Model (S$^2$MAM) based on a bilevel optimization scheme that automatically identifies informative variables, updates the similarity matrix, and simultaneously achieves interpretable predictions. Theoretical guarantees are provided for S$^2$MAM, including the computing convergence and the statistical generalization bound. Experimental assessments across 4 synthetic and 12 real-world datasets, with varying levels and categories of corruption, validate the robustness and interpretability of the proposed approach.