FastBUS: 통합 약지도 학습을 위한 빠른 베이지안 프레임워크

FastBUS: A Fast Bayesian Framework for Unified Weakly-Supervised Learning

머신러닝은 종종 다양한 형태의 불확실한 레이블을 포함하며, 이는 다양한 약지도 학습 환경으로 이어집니다. 최근 연구들은 이러한 환경을 포괄적으로 처리하고자 하지만, 일반적으로 복잡한 사전 작업이 필요하거나, 관련된 레이블 간의 관계를 간과하거나, 계산상의 문제로 인해 배치 처리가 불가능하여 실행 시간이 오래 걸리는 단점이 있습니다. 이러한 한계를 극복하기 위해, 우리는 다양한 약지도 학습 환경에서 잠재적인 실제 레이블 분포를 효율적으로 추론하는 새로운 일반적인 프레임워크를 제안합니다. 핵심 아이디어는 레이블 검색 과정을 확률적 변환으로 표현하여, 다양한 약지도 DFS 트리 구조를 공유 베이지안 네트워크로 압축하는 것입니다. 이를 바탕으로, 일반화된 믿음 전파를 기반으로 잠재 확률 계산 알고리즘을 도출하고, 다음과 같은 두 가지 공동 가속화 전략을 제안했습니다. 1) 변환 행렬에 저차원성을 가정하여 근사화함으로써 시간 복잡도를 줄이는 방법, 2) 배치 수준의 변환 행렬을 학습할 수 있는 엔드투엔드 상태 진화 모듈을 설계하여 다중 범주 배치 처리를 용이하게 하는 방법. 또한, 대부분의 경우에 제안하는 방법이 EM 알고리즘과 동등함을 입증했습니다. 광범위한 실험 결과, 제안하는 방법은 대부분의 약지도 학습 환경에서 최첨단(SOTA) 결과를 달성하며, 다른 일반적인 방법에 비해 실행 시간을 최대 수백 배까지 단축할 수 있음을 보여줍니다.

Machine Learning often involves various imprecise labels, leading to diverse weakly supervised settings. While recent methods aim for universal handling, they usually suffer from complex manual pre-work, ignore the relationships between associated labels, or are unable to batch process due to computational design flaws, resulting in long running times. To address these limitations, we propose a novel general framework that efficiently infers latent true label distributions across various weak supervisions. Our key idea is to express the label brute-force search process as a probabilistic transition of label variables, compressing diverse weakly supervised DFS tree structures into a shared Bayesian network. From this, we derived a latent probability calculation algorithm based on generalized belief propagation and proposed two joint acceleration strategies: 1) introducing a low-rank assumption to approximate the transition matrix, reducing time complexity; 2) designing an end-to-end state evolution module to learn batch-scale transition matrices, facilitating multi-category batch processing. In addition, the equivalence of our method with the EM algorithm in most scenarios is further demonstrated. Extensive experiments show that our method achieves SOTA results under most weakly supervised settings, and achieves up to hundreds of times faster acceleration in running time compared to other general methods.