PARALLEL: 전전두피질에 기반한 강화학습 방식을 활용한 언어 모델 학습 방법론 (명시적인 제약 조건 하에서)

PARALLEL: A Prefrontal-Aligned Reinforcement inspired Approach for Language-Model Learning under Explicit Limits

최근의 언어 모델들은 다양한 작업에서 뛰어난 성능을 보이지만, 기존의 적응 방식은 모든 훈련 데이터 샘플에 대해 동일하게 업데이트를 적용하며, 각 샘플이 갖는 지역적 업데이트 효과를 고려하지 않습니다. 본 논문에서는 전전두피질에 기반한 강화학습 방식을 활용하여 언어 모델 학습하는 PARALLEL이라는 방법을 제안합니다. 목표 관련 제어와 불확실성 관련 제어의 상호 보완적인 역할을 모방하여, PARALLEL은 이러한 정보를 별도의 제어 신호로 표현하고 현재 모델 표현과 결합합니다. 강화학습 기반의 제어기는 즉각적인 효용-비용 피드백을 사용하여 샘플에 따라 다른 업데이트 강도를 할당합니다. 따라서 PARALLEL은 각 샘플에 대해 언제, 얼마나 강력하게 적응할지를 학습하여 유익한 업데이트를 우선시하고 불필요한 파라미터 변경을 제한합니다. 실험 결과, PARALLEL은 선택적 기준 모델보다 가용 업데이트를 더 효율적으로 사용하면서도 전체 적응 성능의 94.1~99.2% 수준을 유지합니다. 객관식 추론 외에도 XSum 및 CNN/DailyMail 데이터셋에 대한 실험에서 PARALLEL은 전체 적응 방식이 달성한 ROUGE-1 및 ROUGE-2 점수의 96.9~98.6%, 그리고 해당 ROUGE-L 점수의 98.8~98.9%를 유지합니다. 동일한 누적 적응 시간 또는 GPU 에너지 소비량에서 PARALLEL은 더 높은 ARC 정확도를 달성하고, 대표적인 실행 결과에서 전체 적응 방식보다 안정적인 후반 단계 적응 경로를 보입니다. 이러한 결과는 각 샘플에 대해 언제, 얼마나 강력하게 업데이트할지를 학습하는 것이 불필요한 업데이트를 피하면서 안정적이고 효율적인 배포 후 지속적 적응을 지원한다는 것을 보여줍니다.

Recent language models achieve strong performance across a variety of tasks, but conventional adaptation applies updates uniformly across training samples regardless of their local update benefit. We propose PARALLEL, a prefrontal-aligned reinforcement inspired approach for language-model learning. Inspired by the complementary roles of goal-related and uncertainty-related control, PARALLEL represents these forms of information as separate controller signals and combines them with the current model representation. A reinforcement-inspired controller assigns sample-dependent update intensity using immediate utility-cost feedback. PARALLEL therefore learns when and how strongly to adapt to each sample, prioritizing beneficial updates while limiting unnecessary parameter changes. PARALLEL uses available updates more efficiently than selective baselines while retaining 94.1--99.2\% of Full-adaptation performance. Beyond multiple-choice reasoning, experiments on XSum and CNN/DailyMail show that PARALLEL retains 96.9--98.6\% of the ROUGE-1 and ROUGE-2 scores achieved by Full adaptation and 98.8--98.9\% of the corresponding ROUGE-L scores. When compared at the same cumulative adaptation time or GPU energy, PARALLEL achieves higher ARC accuracy and exhibits a more stable late-stage adaptation trajectory than Full adaptation in the representative run. These results show that learning when and how strongly to update each sample supports stable and efficient post-deployment stream adaptation while avoiding unnecessary updates.