의미론적 특성을 보존하는 임베딩에 대한 기울기를 통해 대규모 언어 모델의 불확실성을 파악하다

Gradients with Respect to Semantics Preserving Embeddings Tell the Uncertainty of Large Language Models

대규모 언어 모델(LLM)은 환각 현상을 일으키는 경향이 있으므로, 신뢰성을 확보하기 위해 불확실성 정량화(UQ)는 중요한 기술입니다. 기존의 최첨단 UQ 방법은 자유 형식 생성에서 높은 계산 비용과 분산을 초래하는 샘플링에 크게 의존합니다. 본 연구에서는 샘플링이 필요 없고 계산적으로 효율적인, 자유 형식 생성에 대한 최초의 기울기 기반 UQ 방법인 SemGrad를 제안합니다. 기존의 분류 작업에 사용된 기울기 기반 방법이 파라미터 공간에서 작동하는 것과 달리, 우리는 의미 공간에서의 기울기를 고려합니다. 우리 방법은 확신이 있는 LLM은 의미적으로 동일한 입력 변화에 대해 안정적인 출력 분포를 유지해야 한다는 핵심적인 아이디어에 기반합니다. 우리는 이러한 안정성을 의미 공간에서의 기울기로 해석하고, 의미를 가장 잘 포착하는 임베딩을 식별하기 위한 의미 보존 점수(SPS)를 도입하여, 이와 관련된 기울기를 계산합니다. 또한, SemGrad와 파라미터 기울기의 장점을 결합한 HybridGrad를 제안합니다. 실험 결과, 우리 방법 모두 효율적이고 효과적인 불확실성 추정치를 제공하며, 특히 여러 개의 유효한 응답이 존재하는 경우, 최첨단 방법보다 우수한 성능을 달성합니다.

Uncertainty quantification (UQ) is an important technique for ensuring the trustworthiness of LLMs, given their tendency to hallucinate. Existing state-of-the-art UQ approaches for free-form generation rely heavily on sampling, which incurs high computational cost and variance. In this work, we propose the first gradient-based UQ method for free-form generation, SemGrad, which is sampling-free and computationally efficient. Unlike prior gradient-based methods developed for classification tasks that operates in parameter space, we propose to consider gradients in semantic space. Our method builds on the key intuition that a confident LLM should maintain stable output distributions under semantically equivalent input perturbations. We interpret the stability as the gradients in semantic space and introduce a Semantic Preservation Score (SPS) to identify embeddings that best capture semantics, with respect to which gradients are computed. We further propose HybridGrad, which combines the strengths of SemGrad and parameter gradients. Experiments demonstrate that both of our methods provide efficient and effective uncertainty estimates, achieving superior performance than state-of-the-art methods, particularly in settings with multiple valid responses.