기하학적 디코딩: 복합 추론을 위한 임베딩 공간 혼잡 완화

Decoding in Geometry: Alleviating Embedding-Space Crowding for Complex Reasoning

샘플링 기반 디코딩은 거대언어모델(LLM)의 복합 추론의 근간이 되며, 이때 디코딩 전략은 모델의 행동을 결정짓는 중요한 요소이다. 온도(Temperature) 및 절단(Truncation) 기반 방법들은 품질과 다양성 간의 균형을 맞추기 위해 전역적 확률 재가중이나 임계값 설정을 통해 다음 토큰 분포를 재조정한다. 그러나 이러한 방법들은 오직 토큰 확률에만 의존하며, 임베딩 공간 내 토큰들 간의 미세한 관계는 간과한다. 본 연구에서는 다음 토큰 분포의 확률 질량이 임베딩 공간상에서 기하학적으로 가까운 토큰들에 집중되는 새로운 현상인 '임베딩 공간 혼잡(embedding-space crowding)'을 규명한다. 우리는 다양한 입도에서 혼잡도를 정량화하였으며, 수학 문제 해결에 있어 추론 성공 여부와 통계적 연관성이 있음을 확인했다. 이러한 발견에 기반하여, 우리는 기하학적 정보 기반의 재가중을 통해 혼잡을 완화하는 플러그 앤 플레이 샘플링 방법인 CraEG를 제안한다. CraEG는 추가 학습이 필요 없고, 단일 패스로 작동하며, 표준 샘플링 전략들과 호환된다. 다수의 모델과 벤치마크를 대상으로 한 실험 결과, 생성 성능이 향상되었으며 특히 강건성과 다양성 지표에서 개선된 결과를 보였다.

Sampling-based decoding underlies complex reasoning in large language models (LLMs), where decoding strategies critically shape model behavior. Temperature- and truncation-based methods reshape the next-token distribution through global probability reweighting or thresholding to balance the quality-diversity tradeoff. However, they operate solely on token probabilities, ignoring fine-grained relationships among tokens in the embedding space. We uncover a novel phenomenon, embedding-space crowding, where the next-token distribution concentrates its probability mass on geometrically close tokens in the embedding space. We quantify crowding at multiple granularities and find a statistical association with reasoning success in mathematical problem solving. Motivated by this finding, we propose CraEG, a plug-and-play sampling method that mitigates crowding through geometry-guided reweighting. CraEG is training-free, single-pass, and compatible with standard sampling strategies. Experiments on multiple models and benchmarks demonstrate improved generation performance, with gains in robustness and diversity metrics.