기술 기반 LLM으로의 진전: 벤치마킹 및 장기 추론 학습을 위한 기술 엔트로피

Toward Skill-Native LLMs: Skill Entropy for Benchmarking and Training Long-Horizon Reasoning

최근 LLM에서 장기 추론은 모델이 추론 과정 내에서 다양한 기술 간에 전환하도록 요구합니다. 예를 들어, 먼저 수학적 유도 과정을 수행한 다음, 그 결과를 사용하여 일정을 계획하는 것입니다. 이러한 문제를 '크로스 스킬 장기 추론 작업'이라고 부릅니다. 이는 여러 단계를 거치는 작업이며, 각 단계는 서로 다른 추론 기술을 필요로 하며 이전 단계의 결과에 의존합니다. 기존 벤치마크는 종종 개별 기술만을 평가하며, 모델이 기술 간 전환을 얼마나 잘 수행하는지 측정할 수 있는 체계적인 방법이 부족합니다. 우리는 이러한 격차를 평가 및 학습 측면에서 모두 해결하고자 합니다. 먼저, '기술 엔트로피'라는 새로운 지표를 도입하여 한 기술에서 다른 기술로의 전환 난이도를 측정합니다. 그런 다음, 558개의 기술과 9가지 검증 가능하고 개방형 도메인을 기반으로 하는 크로스 스킬 장기 추론 작업 벤치마크인 'Skill^2-Bench'를 제안합니다. 각 작업에는 작업 수준의 기술 엔트로피 점수가 할당되고, 세 가지 난이도 수준으로 분류됩니다. Skill^2-Bench에서 최첨단 모델 8개와 오픈 소스 모델 4개를 평가한 결과, 기술 전환 격차가 나타났습니다. 즉, 엔트로피가 높은 작업에서의 정확도가 낮아집니다. 그런 다음, 기술 엔트로피를 벤치마크 지표에서 학습 신호로 변환합니다. 'Skill-Entropy RL'이라는 강화 학습 프레임워크를 제안하며, 이 프레임워크에서는 모델이 각 단계에서 답뿐만 아니라 해당 답을 생성하는 데 사용된 기술까지 예측하도록 합니다. 보상 함수는 단계 수준의 정확도와 함께 모델이 예측한 기술 시퀀스와 실제 기술 시퀀스 간의 일치도를 측정하는 기술 엔트로피 보상을 결합합니다. Qwen3-4B-Instruct 및 Qwen3-1.7B 모델에서 Skill-Entropy RL을 적용한 결과, Skill^2-Bench 점수가 각각 34.4%에서 68.4%로, 14.6%에서 40.1%로 향상되었으며, 이는 경쟁적인 기본 모델보다 우수한 성능입니다. 동일한 파이프라인은 OpenR1-Math와 같은 기존 학습 데이터에도 적용될 수 있으며, 이는 기술 엔트로피가 재사용 가능한 학습 신호임을 시사합니다. 관련 코드는 다음 링크에서 확인할 수 있습니다: https://github.com/Gen-Verse/Skill-Entropy-RL

Long-horizon reasoning in recent LLMs demands that the model switch between distinct skills inside a reasoning chain, such as first doing a math derivation, then using the result to plan a schedule. We call such problems cross-skill long-horizon tasks: multi-step tasks whose steps require different reasoning skills and depend on earlier outputs. Existing benchmarks often evaluate individual skills, lacking a principled way to measure how well a model switches between skills. We address this gap from both the evaluation and training sides. We introduce Skill Entropy, a measure of the difficulty of switching from one skill to another. We then propose Skill^2-Bench, a benchmark of cross-skill long-horizon tasks built over 558 skills across 9 verifiable and open-ended domains. Each task is assigned a task-level skill-entropy score and grouped into three difficulty levels. Evaluating 8 frontier and 4 open-source models on Skill^2-Bench reveals a skill-switching gap: accuracy decreases on higher-entropy tasks. We then turn skill entropy from a benchmark scale into a training signal. We propose Skill-Entropy RL, an RL framework where the model predicts not only the answer at each step but also the skill used to produce it. The reward combines step-level correctness with a skill-entropy reward that measures the alignment between the model-predicted skill sequence and the gold skill sequence. On Qwen3-4B-Instruct and Qwen3-1.7B, Skill-Entropy RL improves the Skill^2-Bench score from 34.4% to 68.4% and from 14.6% to 40.1%, respectively, outperforming competitive baselines. The same pipeline can be applied to off-the-shelf training data such as OpenR1-Math, indicating that skill entropy is a reusable training signal. Code available at: https://github.com/Gen-Verse/Skill-Entropy-RL