텍스트 임베딩을 이해관계자 연관성을 통해 해석

Grounding Text Embeddings in Stakeholder Associations

텍스트 임베딩은 복잡한 텍스트 코퍼스를 분석하는 데 널리 사용됩니다. 그러나 이러한 임베딩이 인간 전문가가 사용하는 것과 동일한 의미적 거리를 포착하는지 여부는 불분명합니다. 임베딩 표현과 인간의 의도 간의 일관성을 확보하는 것은 유효한 분석을 위해 필수적입니다. 본 연구에서는 '이해관계자 연관성 활용 방법(Stakeholder Grounding Exercise)'이라는 방법을 제시하여, 전문가들의 연관성을 명확하게 하고 임베딩 모델 결과를 인간의 이해에 기반하도록 합니다. 덴마크 정책 문제를 다룬 주요 사례 연구에서, 신경망 기반 텍스트 임베딩이 인간 전문가보다 훨씬 신뢰성이 낮다는 것을 확인했습니다(19-26 pp 차이). 이러한 불일치는 이후 클러스터링 성능에도 영향을 미칩니다(운동 순위와 클러스터 품질 간의 Spearman 상관 계수: $ρ=0.9$). 미국 연방 AI 활용 사례에 대한 보조 연구에서는 영어로 진행된 디지털 프로토콜과 다른 전문가 커뮤니티를 사용하여 동일한 격차(16 pp)가 재현되어, 이 격차가 특정 도구나 영역에서 발생하는 현상이 아님을 보여줍니다. '이해관계자 연관성 활용 방법'은 임베딩 모델이 해당 분야의 전문가에게 가장 중요한 의미적 차이를 포착하는지 평가하는 데 유용한 방법을 제공합니다.

Text embeddings are widely used to analyse large corpora of complex texts. However, it is unclear whether the embeddings capture the same semantic distances as the human experts using them. Ensuring alignment between embedding representations and human intentions is essential for valid analyses. We present the Stakeholder Grounding Exercise, a method for making expert associations explicit and grounding embedding model results in human understanding. In our primary case study on Danish policy issues, we find that neural text embeddings are substantially less reliable than human experts (19-26 pp gap), and that this misalignment propagates to downstream clustering performance (Spearman $ρ=0.9$ between exercise ranking and cluster quality). A secondary study on US Federal AI use cases replicates the gap (16pp) in English, using a digital protocol and a different community of experts -- demonstrating that the gap is not an artefact of a single instrument or domain. The Stakeholder Grounding Exercise offers a practical method for assessing whether embedding models capture the semantic distinctions that matter most to domain experts.