단 두 개의 샘플만으로 얻는 일관성: 효율적인 LLM 추론을 위한 CoT-PoT 앙상블

Self-Consistency from Only Two Samples: CoT-PoT Ensembling for Efficient LLM Reasoning

자기 일관성(SC)은 대규모 언어 모델의 추론 정확도를 향상시키기 위해 여러 샘플 출력을 결합하는 인기 있는 기술이지만, 광범위한 샘플링으로 인해 높은 계산 비용이 발생합니다. 본 연구에서는 두 가지 상이한 추론 방식을 활용하는 하이브리드 앙상블 접근 방식을 소개합니다. 이는 연쇄적 사고(CoT)와 프로그램적 사고(PoT)의 상호 보완적인 강점을 활용합니다. 본 연구는 자기 일관성에서 이 두 가지 추론 방식을 결합하는 일반적인 프레임워크, 그리고 전체 샘플링 및 조기 중단 전략을 제시합니다. 실험 결과, CoT-PoT 앙상블은 전체 정확도를 향상시킬 뿐만 아니라, 자기 일관성에 필요한 샘플 수를 9.3배 감소시킵니다. 특히, 대부분의 작업(78.6%)은 단 2개의 샘플만으로도 처리할 수 있으며, 이는 기존의 모든 자기 일관성 방법으로는 불가능했던 결과입니다.

Self-consistency (SC) is a popular technique for improving the reasoning accuracy of large language models by aggregating multiple sampled outputs, but it comes at a high computational cost due to extensive sampling. We introduce a hybrid ensembling approach that leverages the complementary strengths of two distinct modes of reasoning: Chain-of-Thought (CoT) and Program-of-Thought (PoT). We describe a general framework for combining these two forms of reasoning in self-consistency, as well as particular strategies for both full sampling and early-stopping. We show that CoT-PoT ensembling not only improves overall accuracy, but also drastically reduces the number of samples required for SC by a factor of 9.3x. In particular, the majority of tasks (78.6%) can be addressed with only two samples, which has not been possible with any prior SC methods.