Min-$k$ 샘플링: 상대 로그 확률 변화를 통한 온도 스케일링과 분리

Min-$k$ Sampling: Decoupling Truncation from Temperature Scaling via Relative Logit Dynamics

대규모 언어 모델이 생성하는 텍스트의 품질은 디코딩 샘플링 전략에 크게 의존합니다. Top-$k$, Top-$p$, 및 Min-$p$와 같은 주류 방법은 확률 공간에서의 절단을 통해 다양성과 정확성 사이의 균형을 맞추지만, 이러한 방법들은 온도 파라미터에 대한 과도한 민감성을 내재적인 한계를 가지고 있습니다. 최근에는 Top-$nσ$와 같은 로그 공간 기반 접근 방식이 온도 불변성을 달성하지만, 이러한 방식은 전체 통계에 의존하여 긴 꼬리 부분의 노이즈에 취약하며, 최상위 후보 간의 미세한 신뢰 구조를 파악하지 못합니다. 본 논문에서는 텍스트 생성 과정에서 "의미적 단층(semantic cliffs)"을 식별하기 위해 정렬된 로그 확률 분포의 지역적 형태를 분석하는 새로운 동적 절단 전략인 extbf{Min-$k$ 샘플링}을 제안합니다. Min-$k$는 위치 가중 상대 감쇠율을 계산하여 각 생성 단계에서 절단 경계를 동적으로 결정합니다. 우리는 Min-$k$가 엄격한 온도 불변성을 달성함을 수학적으로 증명했으며, 실험적으로 하이퍼파라미터 선택에 대한 낮은 민감도를 보여줍니다. 다양한 추론 벤치마크, 창의적 글쓰기 작업, 그리고 인간 평가 실험 결과, Min-$k$는 텍스트 품질을 일관되게 향상시키며, 확률 기반 방법이 제대로 작동하지 않는 극단적인 온도 설정에서도 안정적인 성능을 유지합니다. 저희는 코드, 모델, 그리고 분석 도구를 공개적으로 제공합니다.

The quality of text generated by large language models depends critically on the decoding sampling strategy. While mainstream methods such as Top-$k$, Top-$p$, and Min-$p$ achieve a balance between diversity and accuracy through probability-space truncation, they share an inherent limitation: extreme sensitivity to the temperature parameter. Recent logit-space approaches like Top-$nσ$ achieve temperature invariance but rely on global statistics that are susceptible to long-tail noise, failing to capture fine-grained confidence structures among top candidates. We propose \textbf{Min-$k$ Sampling}, a novel dynamic truncation strategy that analyzes the local shape of the sorted logit distribution to identify "semantic cliffs": sharp transitions from high-confidence core tokens to uncertain long-tail tokens. By computing a position-weighted relative decay rate, Min-$k$ dynamically determines truncation boundaries at each generation step. We formally prove that Min-$k$ achieves strict temperature invariance and empirically demonstrate its low sensitivity to hyperparameter choices. Experiments on multiple reasoning benchmarks, creative writing tasks, and human evaluation show that Min-$k$ consistently improves text quality, maintaining robust performance even under extreme temperature settings where probability-based methods collapse. We make our code, models, and analysis tools publicly available.