LLM 추론 성능 향상을 위한 해석 가능한 적응형 샘플링

Interpretable Adaptive Sampling for LLM Test-Time Scaling

테스트 시간 스케일링은 여러 후보 답변을 생성하고 집계하여 LLM의 추론 능력을 향상시키지만, 많은 파이프라인에서 각 쿼리에 대해 고정된 자원 할당량을 사용하여 쉬운 프롬프트와 어려운 프롬프트에 동일한 연산 리소스를 사용합니다. 이러한 고정된 자원 할당량은 특정 프롬프트가 왜 특정 개수의 샘플을 받는지 설명하지 않기 때문에 검토하기 어렵습니다. 본 논문에서는 해석 가능한 신호(예: 추정된 프롬프트 복잡도 및 모델의 확신 정도)를 기반으로 쿼리별 샘플링 자원 할당량을 조정하는 경량 퍼지 제어기를 활용한 적응형 테스트 시간 스케일링 방법을 제안합니다. 이 제어기는 더 쉽거나 확신이 높은 프롬프트에는 적은 수의 샘플을, 더 어렵거나 불확실한 프롬프트에는 더 많은 수의 샘플을 할당하여 추론 시간 동안 사용되는 연산 리소스가 고정되거나 불투명한 것이 아니라 검토 가능하도록 합니다. 우리는 공정한 정렬 프로토콜과 일관된 디코딩 설정, 그리고 제어된 답변 선택 기준 하에서 다양한 질문-답변 및 수학적 추론 작업에 대해 제안하는 방법을 베스트-오브-$N$ 방식, 연산 리소스 인지 스케일링 방법, 그리고 자체 확신 기반의 다른 방법들과 비교했습니다. 실험 결과, 다양한 모델과 데이터셋에서 제안하는 적응형 퍼지 제어는 여러 표준적인 방법들보다 성능이 우수하며, 동시에 선택 기준에 맞춰 전체 자원을 활용하는 방식과 유사한 성능을 보이면서 평균적으로 샘플 수를 줄일 수 있었습니다. 이러한 결과는 해석 가능한 적응형 샘플링이 대규모 언어 모델에서 보다 효율적인 테스트 시간 추론을 위한 실용적인 방법임을 시사합니다.

Test-time scaling improves LLM reasoning by generating and aggregating multiple candidate answers, yet many pipelines use fixed per-query budgets that spend the same compute on easy and difficult prompts. These fixed budgets are also difficult to inspect because they do not explain why a given prompt receives a particular number of samples. We propose adaptive} test-time scaling with a lightweight fuzzy controller that maps interpretable signals, including estimated prompt complexity and model confidence, to a per-query sampling budget. The controller assigns fewer samples to easier or more confident prompts and more samples to harder or less certain prompts, making inference-time compute inspectable rather than fixed or opaque. We evaluate under a fair-alignment protocol with matched decoding settings and controlled answer selection, and compare against best-of-$N$, compute-aware scaling, and self-certainty-based baselines on question-answering and mathematical reasoning tasks. Across models and datasets, adaptive fuzzy control improves over several standard baselines and remains close to a selector-matched full-budget control while reducing the average number of samples. These findings suggest that interpretable adaptive sampling is a practical direction for more efficient test-time reasoning in large language models.