SemHash-LLM: 문서 중복 제거를 위한 다중 수준 의미 해싱 프레임워크

SemHash-LLM: A Multi-Granularity Semantic Hashing Framework for Document Deduplication

대규모 문서 중복 제거는 효율성을 유지하면서도 의미적 동등성을 보존해야 합니다. 본 논문에서는 SemHash LLM이라는 다중 수준 프레임워크를 제안합니다. 이 프레임워크는 의미 투영 해싱, 어텐션 가중 MinHash, 대비 경계 학습, 그리고 선택적인 LLM 기반 판단을 통합합니다. 제안하는 방법은 게이티드 퓨전을 통해 문자, 토큰, 문서 수준의 정보를 결합한 다음, 효율적인 후보 감소를 위한 캐스케이드 필터링 파이프라인을 적용합니다. 의미 투영 해싱은 증류된 LLM 임베딩 공간에서 간결한 이진 코드를 학습하며, 어텐션 가중 MinHash는 불필요한 부분을 억제하고 중요한 내용을 강조합니다. 적응적인 결정 경계 및 불확실성 추정은 템플릿 오염, 짧은 텍스트 변형, 포함 관계, 그리고 바이럴 조각에 대한 견고성을 더욱 향상시킵니다. 실험 결과는 SemHash LLM이 신경망 검증 비용의 1% 미만으로 뛰어난 중복 탐지 성능을 달성함을 보여줍니다.

Large scale document deduplication must preserve semantic equivalence while remaining efficient over massive corpora. We present SemHash LLM, a multi granularity framework that unifies semantic projection hashing, attention weighted MinHash, contrastive boundary learning, and selective LLM based adjudication. The method combines character, token, and document level signals through gated fusion, then applies a cascaded filtering pipeline for efficient candidate reduction. Semantic projection hashing learns compact binary codes in distilled LLM embedding space, while attention weighted Min- Hash suppresses boilerplate and emphasizes informative content. Adaptive decision boundaries and uncertainty estimation further improve robustness across template pollution, short text perturbation, containment, and viral fragments. Experiments show that SemHash LLM achieves strong duplicate detection quality with less than one percent neural verification cost.