최소한의 라벨을 활용한 LLM 추론 확장: 경량 검증기를 사용한 준지도 학습 프레임워크

Scaling LLM Reasoning from Minimal Labels: A Semi-Supervised Framework with a Lightweight Verifier

대규모 언어 모델(LLM) 개발에서, 최근에는 가짜 중간 추론을 생성하는 방법들이 상당한 발전을 보였습니다. 그러나 이러한 방법들은 일반적으로 추론 품질을 평가하기 위해 많은 수의 정확하게 주석이 달린 답변에 의존합니다. 본 논문에서는 최소한의 감독만으로 추론 학습을 확장할 수 있는 준지도 학습 프레임워크를 제시하며, 추론 검증 자체를 데이터 생성 메커니즘으로 활용합니다. LLM이 생성한 중간 추론 과정이 유효한지 판단하는 경량 추론 정확성 분류기를 소수의 라벨링된 샘플만을 사용하여 훈련합니다. 또한, 엔트로피 기반 신뢰도 임계값을 통해 신뢰할 수 없는 샘플을 제거하고, 남은 높은 신뢰도를 가진 추론 과정을 모델 미세 조정에 사용합니다. 검증 가능한 수학 문제(Orca-Math 부분 집합) 및 이미지 장면 그래프에 대한 질문 답변(GQA) 작업에서 실험한 결과, 본 방법이 10~15배 더 많은 라벨링된 데이터를 사용하는 것과 유사한 정확도를 달성했습니다. 제거 분석을 통해 분류기와 엔트로피 필터 모두 확장 가능하고 노이즈 저항적인 가짜 라벨링에 필수적임을 확인했습니다. 본 연구는 비용이 많이 드는 답변 수준의 감독을 경량 추론 검증으로 대체함으로써, 대규모 추론 리소스를 구축하는 데 실용적인 방법을 제공하며, 최소한의 인간 입력으로부터 학습하는 미래 자율 추론 시스템 개발의 길을 열어줍니다.

For the development of Large language models (LLMs), recent approaches to generating pseudo intermediate reasoning have shown remarkable progress. But they typically rely on large numbers of correctly annotated answers to assess reasoning quality. This paper presents a semi-supervised framework that scales reasoning learning from minimal supervision, turning reasoning verification itself into a data creation mechanism. We train a lightweight reasoning-correctness classifier on only a few labeled samples, which judges whether intermediate reasoning traces generated by an LLM are valid. Furthermore, an entropy-based confidence threshold filters out unreliable samples, and the remaining high-confidence reasoning traces are used to fine-tune the model. Experiments on Verifiable Math Problems (Orca-Math subset) and Question Answering on Image Scene Graphs (GQA) with Visual Programming show that our method achieves accuracy comparable to using 10-15x more labeled data. Ablation analyses confirm that both the classifier and entropy filtering are essential for scalable and noise-resistant pseudo-labeling. By replacing expensive answer-level supervision with lightweight reasoning verification, our method provides a practical path toward constructing large-scale reasoning resources and paves the way for future autonomous reasoning systems that learn from minimal human input.