컴팩트 불리언 네트워크 학습

Learning Compact Boolean Networks

부동 소수점 신경망은 현대 기계 학습을 주도하고 있지만 상당한 추론 비용이 발생하여, 자원이 제한된 환경을 위한 불리언 네트워크에 대한 관심이 높아지고 있다. 그러나 컴팩트하고 정확한 불리언 네트워크를 학습하는 것은 그 조합적 특성으로 인해 어렵다. 본 연구에서는 학습된 연결, 컴팩트 합성곱, 적응형 이산화라는 세 가지 관점에서 이 문제를 해결한다. 첫째, 추가 파라미터 없이 계산 오버헤드가 거의 없는 효율적인 연결을 학습하는 새로운 전략을 제안한다. 둘째, 기존 방법보다 적은 수의 불리언 연산으로 지역성을 활용하는 새로운 합성곱 불리언 아키텍처를 소개한다. 셋째, 연속값 네트워크를 불리언 네트워크로 변환할 때 발생하는 정확도 저하를 줄이기 위한 적응형 이산화 전략을 제안한다. 표준 비전 벤치마크에 대한 광범위한 실험 결과, 제안된 방법의 정확도 대 연산량 파레토 프론트(Pareto front)가 기존의 최신 기술을 크게 능가하며, 최대 37배 더 적은 불리언 연산으로 더 나은 정확도를 달성함을 입증하였다.

Floating-point neural networks dominate modern machine learning but incur substantial inference cost, motivating interest in Boolean networks for resource-constrained settings. However, learning compact and accurate Boolean networks is challenging due to their combinatorial nature. In this work, we address this challenge from three different angles: learned connections, compact convolutions and adaptive discretization. First, we propose a novel strategy to learn efficient connections with no additional parameters and negligible computational overhead. Second, we introduce a novel convolutional Boolean architecture that exploits the locality with reduced number of Boolean operations than existing methods. Third, we propose an adaptive discretization strategy to reduce the accuracy drop when converting a continuous-valued network into a Boolean one. Extensive results on standard vision benchmarks demonstrate that the Pareto front of accuracy vs. computation of our method significantly outperforms prior state-of-the-art, achieving better accuracy with up to 37x fewer Boolean operations.