엔트로피-트리: 엔트로피 기반 탐색을 활용한 트리 기반 디코딩

Entropy-Tree: Tree-Based Decoding with Entropy-Guided Exploration

대규모 언어 모델은 뛰어난 추론 성능을 달성하지만, 기존 디코딩 전략은 무분별하게 탐색(랜덤 샘플링)하거나 불필요하게 중복적으로 탐색(독립적인 다중 샘플링)하는 경향이 있습니다. 본 논문에서는 엔트로피를 분기 결정의 지표로 활용하는 트리 기반 디코딩 방법인 엔트로피-트리를 제안합니다. 엔트로피-트리는 모델이 실제 불확실성을 보이는 위치에서만 탐색 트리를 확장하여 작동합니다. 엔트로피-트리는 추론 작업에서 우수한 정확도와 교정 능력을 보여주며, 여러 모델과 데이터 세트에 걸쳐 Multi-chain보다 더 높은 pass@k 값을 달성합니다. 또한, 엔트로피-트리의 예측 엔트로피는 여러 기존 지표와 비교하여 더 높은 AUROC 값을 나타냅니다. 엔트로피-트리는 효율적인 구조화된 탐색과 신뢰할 수 있는 불확실성 추정을 하나의 디코딩 절차 내에서 통합합니다.

Large language models achieve strong reasoning performance, yet existing decoding strategies either explore blindly (random sampling) or redundantly (independent multi-sampling). We propose Entropy-Tree, a tree-based decoding method that exploits entropy as a signal for branching decisions--expanding the search tree only at positions where the model exhibits genuine uncertainty. Entropy-Tree shows superior accuracy and calibration in reasoning tasks: it achieves better pass@k than Multi-chain across multiple models and datasets, and its predictive entropy demonstrates better AUROC compared to several traditional metrics. Entropy-Tree unifies efficient structured exploration and reliable uncertainty estimation within a single decoding procedure.