백트래킹 피드백을 활용한 강화 학습

Reinforcement Learning with Backtracking Feedback

대규모 언어 모델(LLM)의 안전성, 특히 적대적 공격 및 데이터 분포 내 오류에 대한 견고성을 확보하는 것이 매우 중요합니다. 본 연구에서는 백트래킹 피드백을 활용한 강화 학습(RLBF) 프레임워크를 제안합니다. RLBF는 기존 방법(예: BSAFE)을 개선하여, 모델이 자신의 생성 오류를 동적으로 수정하도록 학습하는 강화 학습 단계를 주로 활용합니다. RL을 통해 모델의 실시간 출력에 대한 비판적 피드백을 제공함으로써, LLM은 실제 발생할 수 있는 안전 문제를 식별하고 효율적인 "x 토큰만큼 되돌아가기" 신호를 통해 복구함으로써, 생성 과정을 재개하도록 훈련됩니다. 이러한 강화 학습 과정은 미들 필링, Greedy Coordinate Gradient (GCG) 공격, 디코딩 파라미터 조작과 같은 정교한 적대적 전략에 대한 회복력을 강화하는 데 중요합니다. 또한, 이러한 백트래킹 능력을 효과적으로 습득할 수 있도록, 향상된 지도 미세 조정(SFT) 데이터 생성 전략(BSAFE+)을 제안합니다. 이 방법은 기존의 데이터 생성 기술을 개선하여, 일관성 있고 원래 안전한 텍스트에 의도적인 오류를 삽입함으로써, 백트래킹 메커니즘에 대한 보다 효과적인 초기 학습을 제공합니다. 포괄적인 실험 결과는 RLBF가 다양한 벤치마크 및 모델 규모에서 공격 성공률을 크게 감소시키며, 뛰어난 안전성을 달성하는 동시에 기본적인 모델의 유용성을 유지한다는 것을 보여줍니다.

Addressing the critical need for robust safety in Large Language Models (LLMs), particularly against adversarial attacks and in-distribution errors, we introduce Reinforcement Learning with Backtracking Feedback (RLBF). This framework advances upon prior methods, such as BSAFE, by primarily leveraging a Reinforcement Learning (RL) stage where models learn to dynamically correct their own generation errors. Through RL with critic feedback on the model's live outputs, LLMs are trained to identify and recover from their actual, emergent safety violations by emitting an efficient "backtrack by x tokens" signal, then continuing generation autoregressively. This RL process is crucial for instilling resilience against sophisticated adversarial strategies, including middle filling, Greedy Coordinate Gradient (GCG) attacks, and decoding parameter manipulations. To further support the acquisition of this backtracking capability, we also propose an enhanced Supervised Fine-Tuning (SFT) data generation strategy (BSAFE+). This method improves upon previous data creation techniques by injecting violations into coherent, originally safe text, providing more effective initial training for the backtracking mechanism. Comprehensive empirical evaluations demonstrate that RLBF significantly reduces attack success rates across diverse benchmarks and model scales, achieving superior safety outcomes while critically preserving foundational model utility.