BLADE: 경계 확장 및 레이어 적응형 동적 종료를 통한 효율적인 LLM 추론

BLADE: Boundary-Expanded and Layer-Adaptive Dynamic Exit for Efficient LLM Reasoning

대규모 언어 모델(LLM)은 종종 긴 추론 과정을 통해 작업 성능을 향상시키지만, 그 결과 발생하는 계산량 중 상당 부분은 중복되는 검증 및 수정에 낭비됩니다. 기존의 탐침 기반 조기 종료 방식은 주로 명시적인 자기 의심 표현만을 확인하여, 많은 초기 종료 기회를 놓치게 됩니다. 추론 경계를 확장하여 검사를 수행하면 더 넓은 범위를 커버할 수 있지만, 이는 예측 정보가 다양한 숨겨진 레이어에 존재할 수 있는 매우 다양한 중간 상태를 노출시키기도 합니다. 본 논문에서는 효율적인 LLM 추론을 위한 경계 확장 및 레이어 적응형 동적 종료 프레임워크인 BLADE(Boundary-Expanded and Layer-Adaptive Dynamic Exit)를 제안합니다. BLADE는 생성된 전방이 정확한 답변에 충분한지 예측하여 추론 과정을 동적으로 종료합니다. BLADE는 문장, 자기 의심, 단락 경계를 활용하여 다단계 체크포인트를 구성하고, 반복적인 답변 완성 과정을 통해 안정적인 학습 레이블을 얻습니다. 또한, 모든 레이어에서 고정된 선택이나 비용이 많이 드는 표현에 의존하는 대신, 정보가 풍부한 탐침 레이어의 작은 부분 집합을 학습합니다. 추론 시에는 보정된 예측과 체크포인트별 확인 규칙을 결합하여 응답 속도와 조기 종료 위험 사이의 균형을 맞춥니다. 5개의 벤치마크 및 두 가지 Qwen3 모델에 대한 실험 결과, BLADE는 거의 동일한 정확도를 유지하면서 Qwen3-8B 모델에서 생성되는 토큰 수를 24.8%, Qwen3-4B 모델에서는 15.8% 줄이는 것을 확인했습니다. 추가 분석을 통해 다양한 체크포인트와 자동 레이어 선택의 이점을 입증하여, 보다 효율적인 LLM 추론을 위한 효과적인 접근 방식을 제시합니다.

Large language models often improve task performance by generating long reasoning traces, but the resulting computation is frequently wasted on redundant verification and revision. Existing probe-based early-exit approaches mainly inspect explicit self-doubt expressions, leaving many earlier termination opportunities undetected. Expanding inspection to ordinary reasoning boundaries improves coverage, but also exposes highly diverse intermediate states whose predictive information may reside in different hidden layers. We present Boundary-Expanded and Layer-Adaptive Dynamic Exit for Efficient LLM Reasoning (BLADE), a lightweight framework that dynamically terminates reasoning by estimating whether the generated prefix is sufficient for correct answering. BLADE constructs multi-granular checkpoints from sentence, self-doubt, and paragraph boundaries, and derives robust training labels through repeated answer completions. It further learns a compact subset of informative probe layers instead of relying on fixed choices or expensive representations from all layers. At inference time, calibrated predictions are combined with checkpoint-specific confirmation rules to balance responsiveness and premature-exit risk. Experiments on five benchmarks and two Qwen3 reasoning models show that BLADE preserves near-baseline accuracy while reducing generated tokens by 24.8% on Qwen3-8B and 15.8% on Qwen3-4B. Ablation studies further confirm the benefits of diverse checkpoints and automatic layer selection, demonstrating an effective approach to more efficient LLM reasoning.