출력 비평을 넘어: 과제 증류를 통한 자가 수정

Beyond Output Critique: Self-Correction via Task Distillation

대규모 언어 모델(LLM)은 반복적인 정제를 통해 생성된 응답의 품질을 향상시키는 유망한 자가 수정 능력을 보여주었습니다. 그러나 대부분의 기존 접근 방식은 출력 비평 수준에서 작동하여 표면적인 오류는 수정하지만, 더 깊은 추론 결함을 바로잡는 데는 실패하는 경우가 많습니다. 본 논문에서는 솔루션 개선 이전에 과제 추상화라는 중간 단계를 도입하는 프레임워크인 SELF-THOUGHT를 제안합니다. 입력과 초기 응답이 주어지면, 모델은 먼저 핵심 변수, 제약 조건 및 문제 구조를 포착하는 구조화된 템플릿으로 과제를 증류합니다. 이러한 추상화는 이후 솔루션 구체화를 안내하여 후속 응답이 과제에 대한 더 명확한 이해에 기반하게 하고 오류 전파를 줄여줍니다. 결정적으로, 우리는 이러한 추상화가 모델 간에 전이될 수 있음을 보여줍니다. 즉, 더 큰 모델이 생성한 템플릿은 일반적으로 내재적 자가 수정에 어려움을 겪는 더 작은 LLM을 위한 구조적 가이드 역할을 할 수 있습니다. 증류된 과제 구조를 재사용함으로써, 더 작은 모델들은 과도한 미세 조정이나 외부 검증기에 의존하지 않고도 더 신뢰할 수 있는 개선을 달성합니다. 다양한 추론 과제에 대한 실험을 통해 SELF-THOUGHT가 대규모 및 소규모 모델 모두에서 정확도, 견고성, 일반화 성능을 향상시킴을 입증했으며, 이는 더 신뢰할 수 있는 자가 수정 언어 시스템을 향한 확장 가능한 경로를 제시합니다.

Large language models (LLMs) have shown promising self-correction abilities, where iterative refinement improves the quality of generated responses. However, most existing approaches operate at the level of output critique, patching surface errors while often failing to correct deeper reasoning flaws. We propose SELF-THOUGHT, a framework that introduces an intermediate step of task abstraction before solution refinement. Given an input and an initial response, the model first distills the task into a structured template that captures key variables, constraints, and problem structure. This abstraction then guides solution instantiation, grounding subsequent responses in a clearer understanding of the task and reducing error propagation. Crucially, we show that these abstractions can be transferred across models: templates generated by larger models can serve as structured guides for smaller LLMs, which typically struggle with intrinsic self-correction. By reusing distilled task structures, smaller models achieve more reliable refinements without heavy fine-tuning or reliance on external verifiers. Experiments across diverse reasoning tasks demonstrate that SELF-THOUGHT improves accuracy, robustness, and generalization for both large and small models, offering a scalable path toward more reliable self-correcting language systems.