Batch-of-Thought: 향상된 LLM 추론을 위한 교차 인스턴스 학습

Batch-of-Thought: Cross-Instance Learning for Enhanced LLM Reasoning

현재의 대규모 언어 모델 추론 시스템은 쿼리를 독립적으로 처리하기 때문에 공유된 추론 패턴이나 일관성 제약 조건 같은 가치 있는 교차 인스턴스 신호를 활용하지 못합니다. 본 논문에서는 관련 쿼리를 공동으로 처리하여 교차 인스턴스 학습을 가능하게 하는 비학습형 방법인 Batch-of-Thought (BoT)를 제안합니다. BoT는 배치 간 비교 분석을 수행하여 고품질 추론 템플릿을 식별하고, 일관성 검사를 통해 오류를 감지하며, 계산 비용을 분산시킵니다. 우리는 다중 에이전트 성찰 아키텍처 내에서 BoT를 구체화한 BoT-R을 구현하였으며, 여기서 리플렉터(Reflector)는 공동 평가를 수행하여 개별 처리 방식에서는 얻을 수 없는 상호 정보 이득을 얻습니다. 3가지 모델 제품군과 6가지 벤치마크에 대한 실험을 통해, BoT-R이 추론 비용을 최대 61% 절감하면서도 정확도와 신뢰도 보정(confidence calibration) 성능을 일관되게 향상시킴을 입증했습니다. 또한, 우리의 이론적 및 실험적 분석은 배치 인식(batch-aware) 추론이 언제, 왜 LLM 시스템에 유용한지를 밝힙니다.

Current Large Language Model reasoning systems process queries independently, discarding valuable cross-instance signals such as shared reasoning patterns and consistency constraints. We introduce Batch-of-Thought (BoT), a training-free method that processes related queries jointly to enable cross-instance learning. By performing comparative analysis across batches, BoT identifies high-quality reasoning templates, detects errors through consistency checks, and amortizes computational costs. We instantiate BoT within a multi-agent reflection architecture (BoT-R), where a Reflector performs joint evaluation to unlock mutual information gain unavailable in isolated processing. Experiments across three model families and six benchmarks demonstrate that BoT-R consistently improves accuracy and confidence calibration while reducing inference costs by up to 61%. Our theoretical and experimental analysis reveals when and why batch-aware reasoning benefits LLM systems.