FROST: 어텐션 기반의 이상치 제거를 통한 효율적인 추론

FROST: Filtering Reasoning Outliers with Attention for Efficient Reasoning

본 논문에서는 효율적인 추론을 위한 어텐션 기반 방법인 FROST를 제안합니다. 기존 방식과 달리, FROST는 어텐션 가중치를 활용하여 중요하지 않은 추론 경로를 제거함으로써, 더 짧고 신뢰성 있는 추론 경로를 생성합니다. 방법론적으로, 우리는 추론 이상치의 개념을 도입하고, 이를 제거하기 위한 어텐션 기반 메커니즘을 설계했습니다. 이론적으로, FROST는 모델의 추론 능력을 유지하고 강화하는 동시에, 문장 수준에서 이상치를 제거합니다. 실험적으로, 우리는 두 가지 강력한 추론 모델(Phi-4-Reasoning 및 GPT-OSS-20B)을 사용하여 네 가지 벤치마크에서 FROST를 검증했으며, TALE 및 ThinkLess와 같은 최첨단 방법보다 우수한 성능을 보였습니다. 주목할 만한 점은, FROST가 기본 모델 대비 토큰 사용량을 평균 69.68% 줄이고 정확도를 26.70% 향상시켰다는 것입니다. 또한, 어텐션 이상치 지표 평가에서 FROST는 기본 모델 대비 최대 무한 노름을 15.97% 감소시키고 평균 첨도를 91.09% 감소시켰습니다. 코드 및 관련 자료는 https://github.com/robinzixuan/FROST 에서 확인할 수 있습니다.

We propose FROST, an attention-aware method for efficient reasoning. Unlike traditional approaches, FROST leverages attention weights to prune uncritical reasoning paths, yielding shorter and more reliable reasoning trajectories. Methodologically, we introduce the concept of reasoning outliers and design an attention-based mechanism to remove them. Theoretically, FROST preserves and enhances the model's reasoning capacity while eliminating outliers at the sentence level. Empirically, we validate FROST on four benchmarks using two strong reasoning models (Phi-4-Reasoning and GPT-OSS-20B), outperforming state-of-the-art methods such as TALE and ThinkLess. Notably, FROST achieves an average 69.68% reduction in token usage and a 26.70% improvement in accuracy over the base model. Furthermore, in evaluations of attention outlier metrics, FROST reduces the maximum infinity norm by 15.97% and the average kurtosis by 91.09% compared to the base model. Code is available at https://github.com/robinzixuan/FROST