의미론적 기반의 소프트 라벨 분포를 활용한 신경망 토픽 모델링 개선

Improving Neural Topic Modeling with Semantically-Grounded Soft Label Distributions

기존의 신경망 토픽 모델들은 일반적으로 문서의 BoW(Bag-of-Words) 표현을 재구성하는 방식으로 최적화되어, 문맥 정보를 간과하고 데이터 희소성 문제로 어려움을 겪는다. 본 연구에서는 문맥이 풍부하게 반영된 지도(supervision) 신호를 얻기 위해, 특화된 프롬프트를 조건으로 하는 다음 토큰 확률을 사전 정의된 어휘집에 투영하여 언어 모델(LM)을 활용한 의미론적 기반의 소프트 라벨 타겟을 구성하는 새로운 접근법을 제안한다. 언어 모델의 은닉 상태를 사용하여 소프트 라벨을 재구성하도록 토픽 모델을 학습시킴으로써, 제안하는 방법은 말뭉치(corpus)의 기저 주제 구조와 더욱 밀접하게 정렬된 고품질의 토픽을 생성한다. 3개의 데이터셋에 대한 실험 결과, 제안하는 방법은 기존 베이스라인 모델들에 비해 토픽 일관성(coherence) 및 순도(purity) 측면에서 상당한 성능 향상을 달성함을 보여준다. 또한, 검색 기반의 평가 지표를 새롭게 도입하여 제안하는 접근법이 의미론적으로 유사한 문서를 식별하는 데 있어 기존 방법들보다 훨씬 뛰어난 성능을 보임을 입증하였으며, 이는 검색 중심 애플리케이션에서의 효과성을 강조한다.

Traditional neural topic models are typically optimized by reconstructing the document's Bag-of-Words (BoW) representations, overlooking contextual information and struggling with data sparsity. In this work, we propose a novel approach to construct semantically-grounded soft label targets using Language Models (LMs) by projecting the next token probabilities, conditioned on a specialized prompt, onto a pre-defined vocabulary to obtain contextually enriched supervision signals. By training the topic models to reconstruct the soft labels using the LM hidden states, our method produces higher-quality topics that are more closely aligned with the underlying thematic structure of the corpus. Experiments on three datasets show that our method achieves substantial improvements in topic coherence, purity over existing baselines. Additionally, we also introduce a retrieval-based metric, which shows that our approach significantly outperforms existing methods in identifying semantically similar documents, highlighting its effectiveness for retrieval-oriented applications.