LLM 추론을 개념 예측기 그래프로 증류하기

Distilling LLM Reasoning into Graph of Concept Predictors

대규모 언어 모델(LLM)을 판별 작업에 배포하는 것은 대규모 환경에서 추론 지연 시간, 연산량 및 API 비용으로 인해 종종 제한을 받습니다. 능동 증류(Active distillation)는 LLM 오라클에 질의하여 소형 판별 학생(student) 모델을 학습시킴으로써 이러한 비용을 줄여주지만, 대부분의 파이프라인은 최종 레이블만 증류하고 중간 추론 신호를 버리기 때문에 어떤 추론이 누락되었고 어디서 오류가 발생하는지에 대한 제한적인 진단만 제공합니다. 우리는 교사(teacher) 모델의 의사결정 과정을 유향 비순환 그래프(DAG)로 표면화하고 이를 학생 모델 내의 모듈형 개념 예측기로 모방하는 추론 인식 능동 증류 프레임워크인 '개념 예측기 그래프(GCP)'를 제안합니다. GCP는 중요한 추론 노드에서의 불확실성과 불일치를 겨냥한 그래프 인식 데이터 획득 전략을 통해 샘플 효율성을 향상시킵니다. 또한, 다운스트림 손실을 특정 개념 예측기에 귀속시키고 가장 영향력 있는 모듈만 업데이트하는 타겟팅된 하위 모듈 재학습을 수행함으로써 학습 안정성과 효율성을 개선합니다. 8개의 NLP 분류 벤치마크에 대한 실험 결과, GCP는 제한된 주석 예산 하에서도 성능을 향상시키는 동시에 더 해석 가능하고 제어 가능한 학습 과정을 제공함을 입증했습니다. 코드는 https://github.com/Ziyang-Yu/GCP 에서 확인할 수 있습니다.

Deploying Large Language Models (LLMs) for discriminative workloads is often limited by inference latency, compute, and API costs at scale. Active distillation reduces these costs by querying an LLM oracle to train compact discriminative students, but most pipelines distill only final labels, discarding intermediate reasoning signals and offering limited diagnostics of what reasoning is missing and where errors arise. We propose Graph of Concept Predictors (GCP), a reasoning-aware active distillation framework that externalizes the teacher's decision process as a directed acyclic graph and mirrors it with modular concept predictors in the student. GCP enhances sample efficiency through a graph-aware acquisition strategy that targets uncertainty and disagreement at critical reasoning nodes. Additionally, it improves training stability and efficiency by performing targeted sub-module retraining, which attributes downstream loss to specific concept predictors and updates only the most influential modules. Experiments on eight NLP classification benchmarks demonstrate that GCP enhances performance under limited annotation budgets while yielding more interpretable and controllable training dynamics. Code is available at: https://github.com/Ziyang-Yu/GCP.