DHRCL: 밀집 계층적 보상과 교육 과정을 활용한 코드 LLM 학습

DHRCL:Training Code LLMs with Dense Hierarchical Rewards and Curriculum Learning

강화 학습은 생성된 프로그램을 구문 분석, 실행, 단위 테스트 및 구조 분석을 통해 평가할 수 있기 때문에, 코드 관련 대규모 언어 모델의 후속 학습에 적합한 패러다임입니다. 그러나 기존 방법들은 종종 희소한 결과 보상에 의존하거나, 서로 다른 유형의 밀집 신호들을 정적으로 결합합니다. 이러한 접근 방식은 구문 유효성, 실행 가능성, 기능적 정확성 및 구조적 조직화가 서로 다르며 점진적인 의존성을 가진다는 사실을 간과합니다. 우리는 DHRCL(Dense Hierarchical Rewards and Curriculum Learning)이라는 강화 학습 프레임워크를 제안합니다. DHRCL은 피드백을 구문 검증, 실행 성공 여부, 단위 테스트 통과율 및 AST 기반 구조적 유사성으로 분해하고, 이러한 신호들을 세 단계로 구성된 교육 과정(구문, 실행, 합격 및 구조)을 통해 조직합니다. 각 단계의 지속 시간은 수동적으로 지정된 능력 기준이 아닌, 최근 검증 추세를 기반으로 자동으로 결정됩니다. 또한, 단계에 대한 인식을 가진 확률 기반 토큰 크레딧 재분배 방식을 도입했습니다. 이 메커니즘은 '통합-정제' 원칙을 따릅니다: 구문 최적화 시에는 확립된 토큰 패턴을 강조하고, 비국소 실행 피드백에 대해서는 균일한 전파를 적용하며, 최종 기능 최적화 단계에서는 덜 확립된 토큰 결정에 더 많은 보상 또는 벌점을 부여합니다. 통일된 Qwen3-8B 및 KodCode 프로토콜 하에서, DHRCL은 이진 보상, 합격률, 보상 모델 기반 접근 방식 및 검증 가능한 밀집 보상 방식을 사용하는 기본 모델들과 비교되었습니다. 또한, DHRCL을 Qwen3-4B, Qwen3-8B 및 Qwen3-14B 백본에서 평가하여 모델 용량이 증가함에 따라 성능 우수성이 일관되게 유지됨을 확인했습니다.

Reinforcement learning is a natural post-training paradigm for code-oriented large language models because generated programs can be evaluated through parsing, execution, unit tests, and structural analysis.However, existing methods often rely on sparse outcome rewards or statically combine heterogeneous dense signals, even though syntax validity, executability, functional correctness, and structural organization describe different and progressively dependent programming capabilities. We propose DHRCL, a reinforcement learning framework with Dense Hierarchical Rewards and Curriculum Learning. DHRCL decomposes feedback into syntax validation, execution success, unit-test pass rate, and AST-based structural similarity, and organizes these signals through a three-stage Syntax, Execution, Pass & Structural curriculum. Stage duration is determined automatically from recent validation trends rather than manually specified capability thresholds. We further introduce stage-aware probability-based token credit redistribution. The mechanism follows a consolidation-to-refinement principle: it emphasizes established token patterns during syntax-oriented optimization, applies uniform propagation for non-local execution feedback, and allocates more credit or blame to less-established token decisions during final functional optimization. Under a unified Qwen3-8B and KodCode protocol, the experiments compare DHRCL with binary, pass-rate, reward-model-based, and verifiable dense-reward baselines. We further evaluate DHRCL across Qwen3-4B, Qwen3-8B, and Qwen3-14B backbones, showing that its advantage remains consistent as model capacity increases.