원자에서 체인으로: 편차 기반 추론 교육 과정 - 라벨링되지 않은 LLM 도메인 적응

From Atoms to Chains: Divergence-Guided Reasoning Curriculum for Unlabeled LLM Domain Adaptation

인간이 주석한 데이터 없이 대규모 언어 모델(LLM)을 특정 도메인에 적응시키는 것은 매우 중요하지만 어려운 과제입니다. 널리 사용되는 지식 증류 방법은 종종 조잡한 모방으로 이어지며, 이때 학습 모델은 자체적인 약점을 비효율적으로 개선하려고 시도하고, 교사 모델의 추론 오류를 그대로 물려받을 위험이 있습니다. 이는 다음과 같은 중요한 교육적 딜레마를 야기합니다. 교사 자체가 완벽한 전문가가 아닐 때, 어떻게 신뢰할 수 있는 교육 과정을 설계할 수 있는가? 본 연구에서는 핵심적인 통찰력을 활용하여 이 문제를 해결합니다. LLM은 복잡하고 전체적인 추론에서는 오류를 보일 수 있지만, 집중적이고 원자적인 하위 문제에서는 높은 정확도를 보이는 경우가 많습니다. 이러한 점을 바탕으로, 우리는 '편차 기반 추론 교육 과정(DGRC)'을 제안합니다. DGRC는 추론 경로의 불일치로부터 두 가지 상호 보완적인 교육 과정을 동적으로 생성하여, 원자적인 지식에서 추론 체인으로 이어지는 학습 경로를 구축합니다. 학생 모델과 교사 모델이 상반된 결과를 생성할 때, DGRC는 교사 모델에게 진단 분석을 수행하도록 지시합니다. 교사는 두 가지 추론 경로를 분석하여 특정 불일치 지점을 겨냥하는 원자적인 질문을 생성하고, 자체적으로 이러한 질문에 답하여 높은 신뢰도의 원자적인 질문-답변 쌍을 만듭니다. 이러한 쌍은 다음 두 가지 역할을 수행합니다. (1) 학생 모델의 지식 격차를 해소하기 위한 원자적인 교육 과정을 제공하고, (2) 교사 모델의 원래 추론 체인을 검증하기 위한 사실 기반 기준으로 사용되어, 학생 모델이 원자적인 지식을 완전한 추론 경로에 통합하는 방법을 가르치는 검증된 Chain-of-Thought(CoT) 교육 과정을 생성합니다. 다양한 크기의 학생 모델을 대상으로 의료 및 법률 도메인에서 수행한 실험 결과, 본 연구에서 제안하는 DGRC 프레임워크의 효과가 입증되었습니다. 특히, 본 방법은 의료 도메인에서 1.5B 규모의 학생 모델의 경우, 강력한 라벨링되지 않은 기준 모델 대비 7.76%의 상대적인 성능 향상을 달성했습니다.

Adapting Large Language Models (LLMs) to specialized domains without human-annotated data is a crucial yet formidable challenge. Widely adopted knowledge distillation methods often devolve into coarse-grained mimicry, where the student model inefficiently targets its own weaknesses and risks inheriting the teacher's reasoning flaws. This exposes a critical pedagogical dilemma: how to devise a reliable curriculum when the teacher itself is not an infallible expert. Our work resolves this by capitalizing on a key insight: while LLMs may exhibit fallibility in complex, holistic reasoning, they often exhibit high fidelity on focused, atomic sub-problems. Based on this, we propose Divergence-Guided Reasoning Curriculum (DGRC), which constructs a learning path from atomic knowledge to reasoning chains by dynamically deriving two complementary curricula from disagreements in reasoning pathways. When a student and teacher produce conflicting results, DGRC directs the teacher to perform a diagnostic analysis: it analyzes both reasoning paths to formulate atomic queries that target the specific points of divergence, and then self-answers these queries to create high-confidence atomic question-answer pairs. These pairs then serve a dual purpose: (1) providing an atomic curriculum to rectify the student's knowledge gaps, and (2) serving as factual criteria to filter the teacher's original reasoning chains, yielding a verified CoT curriculum that teaches the student how to integrate atomic knowledge into complete reasoning paths. Experiments across the medical and legal domains on student models of various sizes demonstrate the effectiveness of our DGRC framework. Notably, our method achieves a 7.76% relative improvement for the 1.5B student model in the medical domain over strong unlabeled baseline.