불확실한 LLM 피드백에 대한 신뢰 기반 자기 진화

Confidence-Orchestrated Self-Evolution against Uncertain LLM Feedback

자기 진화형 대규모 언어 모델(LLM)은 자체적으로 학습 데이터를 생성하고 해결 방안을 제시함으로써 인간이 직접 제공하는 지도 학습 의존도를 줄입니다. 그러나 많은 추론 영역에서, 모델은 생성된 작업의 유효성을 검증하고 생성된 답변을 평가하여 학습 신호를 얻어야 합니다. 이는 학습 신호 문제를 야기하며, 잘못된 자기 평가는 오류로 인한 경사 업데이트를 초래합니다. 기존 방법들은 외부 검증기를 사용하거나, 노이즈가 있는 자체 생성 피드백을 지도 학습으로 활용하는데, 이 두 가지 방식 모두 한계점을 가지고 있습니다. 본 논문에서는 LLM의 내재적인 신뢰도를 가벼운 불확실성 신호로 사용하여 학습을 조절하는 COSE (Confidence-Orchestrated Self-Evolution)를 제안합니다. COSE는 신뢰도 기반 가중 PPO 업데이트와 신뢰도 우선순위 재학습 방식을 도입했습니다. 19개의 테스트 데이터셋과 Qwen/Llama 아키텍처의 다양한 규모 모델(0.6B--4B)을 사용하여 실험한 결과, COSE는 기본 모델보다 꾸준히 성능이 향상되었으며, 일반적인 추론 및 수학 영역에서 가장 뛰어난 평균 성능을 보였습니다. 또한 코딩 분야에서도 경쟁력 있는 결과를 얻었습니다. 코드와 데이터는 다음 링크에서 확인할 수 있습니다: https://anonymous.4open.science/r/COSE_-B5C2

Self-evolving large language models (LLMs) learn by generating their own training tasks and solutions, reducing reliance on human-curated supervision. However, in many reasoning domains, the model must also validate generated tasks and judge generated answers to obtain training signals. This creates a training-signal challenge: erroneous self-judgments become erroneous gradient updates. Existing approaches either rely on external verifiers, which limits generality, or treat noisy self-generated feedback as supervision. We propose COSE (Confidence-Orchestrated Self-Evolution), which uses the LLM's intrinsic confidence as a lightweight uncertainty signal to modulate learning. COSE introduces confidence-weighted PPO updates and confidence-prioritized replay. Across 19 held-out benchmarks and four Qwen/Llama backbones (0.6B--4B), COSE consistently improves over base models and achieves the best average performance in general reasoning and mathematics, while remaining competitive on code. Code and data are available at https://anonymous.4open.science/r/COSE_-B5C2.