LSRIF: 지시 이행을 위한 논리 구조 강화학습

LSRIF: Logic-Structured Reinforcement Learning for Instruction Following

지시 이행은 대규모 언어 모델에 있어 매우 중요하지만, 실제 환경의 지시는 종종 순차적 의존성과 조건부 분기와 같은 논리 구조를 포함합니다. 기존 방법들은 일반적으로 병렬 제약 조건으로 데이터셋을 구성하고 평균 보상을 최적화하는데, 이는 논리적 의존성을 무시하고 노이즈가 많은 신호를 생성합니다. 본 연구에서는 지시 논리를 명시적으로 모델링하는 논리 구조화된 훈련 프레임워크인 LSRIF를 제안합니다. 먼저 병렬, 순차, 조건부 유형과 같은 제약 구조를 가진 LSRInstruct 데이터셋을 구축한 후, 병렬 구조에 대한 평균 집계, 순차 구조에 대한 실패 페널티 전파, 조건부 분기에 대한 선택적 보상을 포함하는 구조 인식 보상 방법인 LSRIF를 설계합니다. 실험 결과, LSRIF는 지시 이행(도메인 내 및 도메인 외)과 일반 추론 능력에서 상당한 개선을 가져오는 것으로 나타났습니다. 추가 분석에 따르면 명시적인 논리 구조를 통한 학습은 어텐션 레이어의 파라미터 업데이트를 유도하고, 제약 조건과 논리 연산자에 대한 토큰 수준의 어텐션을 강화하는 것으로 밝혀졌습니다.

Instruction-following is critical for large language models, but real-world instructions often contain logical structures such as sequential dependencies and conditional branching. Existing methods typically construct datasets with parallel constraints and optimize average rewards, ignoring logical dependencies and yielding noisy signals. We propose a logic-structured training framework LSRIF that explicitly models instruction logic. We first construct a dataset LSRInstruct with constraint structures such as parallel, sequential, and conditional types, and then design structure-aware rewarding method LSRIF including average aggregation for parallel structures, failure-penalty propagation for sequential structures, and selective rewards for conditional branches. Experiments show LSRIF brings significant improvements in instruction-following (in-domain and out-of-domain) and general reasoning. Analysis reveals that learning with explicit logic structures brings parameter updates in attention layers and sharpens token-level attention to constraints and logical operators.