SimCert: 심층 신경망 압축 시 동작 유사성을 위한 확률 기반 인증

SimCert: Probabilistic Certification for Behavioral Similarity in Deep Neural Network Compression

제한된 자원을 가진 임베디드 시스템에 심층 신경망(DNN)을 적용하기 위해서는 양자화 및 가지치기 등의 공격적인 모델 압축 기술이 필요합니다. 그러나 압축된 모델이 원래 설계의 동작적 충실도를 유지하는지 확인하는 것은 안전이 중요한 시스템 설계 과정에서 매우 중요한 과제입니다. 기존의 검증 방법은 종종 확장성이 부족하거나 가지치기가 도입하는 아키텍처의 이질성을 처리하지 못합니다. 본 연구에서는 압축된 신경망의 동작 유사성을 검증하기 위한 확률 기반 인증 프레임워크인 SimCert를 제안합니다. SimCert는 최악의 경우 분석과 달리, 조정 가능한 신뢰 수준을 가진 정량적인 안전 보장을 제공합니다. SimCert 프레임워크는 다음과 같은 특징을 갖습니다: (1) 양자화 및 가지치기 모두를 지원하는 이중 네트워크 기호 전파 방법; (2) Bernstein 부등식을 사용하여 안전 인증을 강화하는 분산 인지 경계 기법; (3) 자동화된 검증 도구 체인. ACAS Xu 및 컴퓨터 비전 벤치마크에 대한 실험 결과는 SimCert가 최첨단 기준보다 우수한 성능을 보임을 보여줍니다.

Deploying Deep Neural Networks (DNNs) on resource-constrained embedded systems requires aggressive model compression techniques like quantization and pruning. However, ensuring that the compressed model preserves the behavioral fidelity of the original design is a critical challenge in the safety-critical system design flow. Existing verification methods often lack scalability or fail to handle the architectural heterogeneity introduced by pruning. In this work, we propose SimCert, a probabilistic certification framework for verifying the behavioral similarity of compressed neural networks. Unlike worst-case analysis, SimCert provides quantitative safety guarantees with adjustable confidence levels. Our framework features: (1) A dual-network symbolic propagation method supporting both quantization and pruning; (2) A variance-aware bounding technique using Bernstein's inequality to tighten safety certificates; and (3) An automated verification toolchain. Experimental results on ACAS Xu and computer vision benchmarks demonstrate that SimCert outperforms state-of-the-art baselines.