대규모 추론 모델을 위한 조건부 성능 보장

Conditional Performance Guarantee for Large Reasoning Models

대규모 추론 모델들은 확장된 생각의 사슬(chain-of-thought) 추론을 통해 강력한 성능을 보여주었으나, 그 계산 비용은 여전히 막대하다. 확률적 근사 정답(PAC) 추론은 사고(thinking) 모델과 비사고(non-thinking) 모델 간의 적응형 전환을 통해 효율적 추론을 위한 통계적 보장을 제공하지만, 이러한 보장은 한계적(marginal)인 경우에만 유효하며 정확한 조건부 커버리지를 제공하지 못한다. 본 연구는 입력 공간을 분할함으로써 그룹 수준에서 PAC 스타일의 보장을 제공하는 실용적 프레임워크인 G-PAC 추론을 제안한다. 우리는 알려진 그룹 구조를 위한 그룹 PAC(G-PAC) 추론과 알려지지 않은 그룹을 위한 클러스터드 PAC(C-PAC) 추론, 이 두 가지 구현체를 개발했다. 우리는 G-PAC과 C-PAC 모두 그룹 조건부 위험 제어를 달성한다는 것을 증명하고, 이질적인 환경에서 그룹화가 기존의 한계적 PAC 추론보다 효율성을 확실히 개선할 수 있음을 보인다. 다양한 추론 벤치마크에 대한 실험 결과, G-PAC과 C-PAC은 상당한 계산 비용 절감 효과를 유지하면서도 그룹 조건부 위험 제어를 성공적으로 수행함을 입증하였다.

Large reasoning models have shown strong performance through extended chain-of-thought reasoning, yet their computational cost remains significant. Probably approximately correct (PAC) reasoning provides statistical guarantees for efficient reasoning by adaptively switching between thinking and non-thinking models, but the guarantee holds only in the marginal case and does not provide exact conditional coverage. We propose G-PAC reasoning, a practical framework that provides PAC-style guarantees at the group level by partitioning the input space. We develop two instantiations: Group PAC (G-PAC) reasoning for known group structures and Clustered PAC (C-PAC) reasoning for unknown groupings. We prove that both G-PAC and C-PAC achieve group-conditional risk control, and that grouping can strictly improve efficiency over marginal PAC reasoning in heterogeneous settings. Our experiments on diverse reasoning benchmarks demonstrate that G-PAC and C-PAC successfully achieve group-conditional risk control while maintaining substantial computational savings.