RLVR 유도 추론을 위한 메커니즘 기반 선택적 지식 삭제 방법

Mechanism-Guided Selective Unlearning for RLVR-Induced Reasoning

본 논문에서는 표준적인 전체 파라미터 업데이트 방식보다 훨씬 적은 부작용으로 RLVR(Reinforcement Learning with Verb Reasoning)에 의해 유도된 추론 능력을 제거하는 방법인 MAST(Mechanism-Aligned Selective Targeting)를 제안합니다. Qwen2.5-Math-1.5B 및 Qwen3-1.7B-Base 모델의 SFT(Supervised Fine-Tuning)와 RLVR 체크포인트를 비교한 결과, 토큰 수준에서의 delta-log-probability 변화에서 두 업데이트 간에 뚜렷한 차이가 나타났습니다. 전체 파라미터 기반의 경사 상승법은 MATH 및 GSM8K 데이터셋 성능을 저하시키면서만 지식을 삭제하는 반면, MAST는 어텐션 프로젝션 텐서를 오프-주성분 에너지, 업데이트 크기, 그리고 포겟-그래디언트 결합 크기를 기준으로 순위를 매겨 상위 몇 개의 텐서만 업데이트합니다. 실험 결과, MAST는 통계적으로 유의미한 목표 지식 삭제를 유도하며 (MATH: 45/150 -> 37/150; McNemar p=0.0078) 동시에 GSM8K 성능은 향상시키고 (GSM8K: +0.8 pp), MATH 성능은 약간 감소시킵니다 (MATH retain: -0.5 pp). 이러한 장점은 다양한 초기값, NPO/SimNPO 목적 함수 및 Qwen3 모델에서도 나타나며, MAST는 GSM8K 성능을 유지하는 반면, 전체 파라미터 기반의 지식 삭제 방식은 해당 성능을 저하시키는 것을 확인했습니다.

We propose MAST (Mechanism-Aligned Selective Targeting), a mechanism-guided method for unlearning RLVR-induced reasoning with substantially lower collateral damage than standard full-parameter updates. In matched SFT/RLVR checkpoints on Qwen2.5-Math-1.5B and Qwen3-1.7B-Base, the SFT-to-RLVR increment differs sharply from the SFT update in token-level delta-log-probability, and full-parameter gradient ascent forgets only by damaging retain MATH and GSM8K. MAST ranks attention-projection tensors by off-principal energy, update magnitude, and forget-gradient coupling magnitude, then updates only the top-ranked subset. On the primary model, MAST induces statistically significant target forgetting (MATH forget 45/150 to 37/150; McNemar p=0.0078) while preserving GSM8K (+0.8 pp) and MATH retain (-0.5 pp). The advantage reproduces across seeds, NPO/SimNPO objectives, and Qwen3, where MAST preserves GSM8K while full-parameter unlearning collapses it.