SPIRAL: 검색 및 통합 학습

SPIRAL: Learning to Search and Aggregate

언어 모델의 추론 능력을 향상시키기 위해, 다양한 기본 요소를 활용하는 방법을 제안합니다. 이는 트레이스를 통한 순차적 추론, 독립적으로 샘플링된 병렬 트레이스, 그리고 여러 개의 추론 트레이스를 최종 응답으로 통합하는 것을 포함합니다. 그러나 기존의 언어 모델은 단일 트레이스 내에서의 순차적 추론에만 최적화되어 있습니다. 본 논문에서는 Sequential-Parallel-Aggregative Reinforcement Learning (SPIRAL)이라는 프레임워크를 소개하며, 이는 언어 모델이 세 가지 모든 요소를 활용하도록 훈련시키는 통합된 추론 파이프라인을 제공합니다. 구체적으로, 언어 모델은 먼저 순차적인 체인 오브 소트(chain-of-thought) 추론을 통해 생성된 독립적인 트레이스 집합을 병렬로 샘플링하고, 그 후 샘플링된 트레이스를 조건으로 최종 통합 트레이스를 생성합니다. 이러한 모든 구성 요소는 최종 통합 응답에 대한 보상과 함께 엔드 투 엔드로 최적화됩니다. 이 시스템을 훈련하기 위해, SPIRAL은 모델이 집계기에 유용한 트레이스 집합을 생성하도록 가르치는 Set Reinforcement Learning과, 생성된 트레이스 집합을 더 나은 최종 응답으로 통합하도록 가르치는 표준 Reinforcement Learning을 사용합니다. 추론 작업에 대한 실험 결과는 SPIRAL이 추론 계산량을 효과적으로 확장하며, 모든 세 가지 계산 요소를 확장했을 때 GRPO보다 최대 11배의 효율성과 15% 향상된 성능을 보여준다는 것을 입증했습니다.

Language model reasoning can be substantially improved at test time via scaffolds that scale inference compute across different primitives -- sequential reasoning within a trace, independently sampled parallel traces, and aggregation of multiple reasoning traces into a final response. During post-training, however, language models are optimized only for sequential reasoning within a single trace. We introduce Sequential-Parallel-Aggregative Reinforcement Learning (SPIRAL), a framework in which a language model is trained to use all three primitives, as part of a unified inference compute pipeline. Concretely, the language model first samples a set of independent traces in parallel, each produced through sequential chain-of-thought reasoning, and then generates a final aggregation trace conditioned on those traces; all components are optimized end-to-end against the reward of the final aggregated response. To train this system, SPIRAL uses set reinforcement learning to teach models to produce a set of traces that are collectively useful for an aggregator and standard reinforcement learning to teach models to aggregate the set into improved final responses. Our experiments on reasoning tasks show that SPIRAL effectively scales with inference compute, outperforming GRPO by up to 11$\times$ scaling efficiency and 15% higher performance when all three compute primitives are scaled.