ModeX: 평가자 불필요한 최적의 N개 선택 방법 - 개방형 생성에 적용

ModeX: Evaluator-Free Best-of-N Selection for Open-Ended Generation

대규모 언어 모델(LLM)에서 여러 개의 무작위 생성 결과 중 단 하나의 고품질 출력을 선택하는 것은, 정해진 정답이 없는 개방형 작업에서 특히 어려운 과제입니다. Best-of-N 및 자기 일관성 방법은 여러 생성 결과를 결합하여 성능을 향상시킬 수 있음을 보여주지만, 기존 방법들은 주로 외부 평가자, 보상 모델 또는 정확한 문자열 매칭 투표에 의존하여 적용 가능성과 효율성이 제한됩니다. 본 논문에서는 평가자가 필요 없는 Best-of-N 선택 프레임워크인 Mode Extraction (ModeX)을 제안합니다. ModeX는 생성된 텍스트 간의 지배적인 의미적 합의를 나타내는 대표적인 출력을 식별하여, 개방형 텍스트 생성에 대한 다수 투표 방식을 일반화합니다. ModeX는 후보 생성 결과에 대한 유사성 그래프를 구축하고, 추가적인 추론이나 보조 모델 없이 스펙트럴 클러스터링을 반복적으로 적용하여 대표적인 중심점을 선택합니다. 또한, 효율성을 높이기 위해 ModeX의 개선된 버전인 ModeX-Lite를 구현했습니다. 텍스트 요약, 코드 생성, 수학적 추론 등 다양한 개방형 작업에서, 제안하는 방법들은 기존의 단일 경로 및 다중 경로 기준 모델보다 우수한 성능을 보이며, 견고한 개방형 텍스트 생성을 위한 계산적으로 효율적인 솔루션을 제공합니다. 구현 코드는 https://github.com/deeplearning-wisc/ModeX 에서 확인할 수 있습니다.

Selecting a single high-quality output from multiple stochastic generations remains a fundamental challenge for large language models (LLMs), particularly in open-ended tasks where no canonical answer exists. While Best-of-N and self-consistency methods show that aggregating multiple generations can improve performance, existing approaches typically rely on external evaluators, reward models, or exact string-match voting, limiting their applicability and efficiency. We propose Mode Extraction (ModeX), an evaluator-free Best-of-N selection framework that generalizes majority voting to open-ended text generation by identifying the modal output representing the dominant semantic consensus among generated texts. ModeX constructs a similarity graph over candidate generations and recursively applies spectral clustering to select a representative centroid, without requiring additional inference or auxiliary models. We further instantiate this selection principle as ModeX-Lite, an improved version of ModeX with early pruning for efficiency. Across open-ended tasks -- including text summarization, code generation, and mathematical reasoning -- our approaches consistently outperform standard single- and multi-path baselines, providing a computationally efficient solution for robust open-ended text generation. Code is released in https://github.com/deeplearning-wisc/ModeX.