자기 설명의 신뢰성을 위한 대규모 언어 모델 학습

Training Large Language Models for Self-Explanation Faithfulness

본 연구에서는 자기 설명의 신뢰성(모델이 생성하는 추론이 내부 의사 결정 과정을 정확하게 반영하는 정도)을 직접적으로 최적화하기 위한 강화 학습(RL) 방법을 제안합니다. 기존 연구는 주로 신뢰성을 평가하거나, LLM의 자기 설명을 개선하기 위해 추론 시 프롬프팅 방식을 사용하는 데 초점을 맞추고 있습니다. 하지만 이러한 접근 방식은 모델 파라미터를 직접 조정하여 신뢰할 수 있는 자기 설명을 생성하는 메커니즘을 제공하지 않습니다. 본 연구는 기존의 신뢰성 지표를 RL 학습 목표로 변환함으로써 이러한 간극을 해소합니다. (1) 모델이 자신의 의사 결정에 영향을 미치는 요인을 정확하게 감지하도록 훈련될 수 있는지, 그리고 (2) RL이 이러한 요인의 공개를 직접적으로 최적화하여 LLM의 자기 설명 신뢰성을 향상시킬 수 있는지 여부를 조사합니다. 무작위 단어 삽입 및 사용자 편향 삽입이라는 두 가지 유형의 개입을 실험하고, Phi-CCT 상관 관계 지표에서 파생된 샘플별 보상을 사용했습니다. 강화 학습으로 미세 조정된 Llama3.1-8B와 Qwen3-8B 모델은 Phi-CCT 신뢰성 지표에서 상당한 개선을 보였으며, 동일 분포 데이터의 점수가 거의 0에 가까운 수준에서 최고 0.664로 상승하고, 전략 QA와 같은 외부 데이터셋에서의 점수는 최대 0.691에 도달했습니다. 개입 유형 간의 일반화 성능은 약하지만 흥미로운 현상을 보입니다. 예를 들어, 무작위 단어 삽입으로만 학습된 모델이 사용자 편향 구문에 대해 얼마나 잘 일반화될 수 있을지 예상하지 못했지만, Llama3.1-8B는 이 방향에서 일부 전이를 보여주었습니다. 이러한 현상은 역방향에서는 나타나지 않았으며, Qwen3-8B에서도 재현되지 않았습니다. 이는 모델 의존적 및 설정 의존적인 효과를 시사하며, 아직 설명할 수 없는 부분입니다. 마지막으로, RL 학습 과정에서 흔히 발생하는 보상 악용 행위를 배제하기 위해 모델의 동작을 분석했습니다. 궁극적으로, 본 연구는 모델이 중요한 요인을 암묵적으로 식별하고 이를 공개하도록 훈련할 수 있음을 보여주며, LLM의 신뢰하지 않는 추론을 줄이는 데 효과적인 방법을 제시합니다.

We propose a Reinforcement Learning (RL) method to directly optimize the faithfulness of self-explanations - the extent to which a model's generated reasoning accurately reflects its internal decision-making process. While existing work focuses on evaluating faithfulness or using inference-time prompting frameworks to improve an LLM's self-explanation's tractability, these approaches do not provide a mechanism to directly optimize a model's parameters to generate faithful self-explanations. We bridge this gap by modifying existing faithfulness metrics into an RL training objective. We investigate (1) if models can be trained to accurately detect factors that affect their decisions, and (2) whether RL can directly optimize for the disclosure of these factors thereby improving LLM self-explanations' faithfulness. We experiment with two intervention types: random-word insertions and user-bias insertions, using a per-sample reward derived from the Phi-CCT correlation metric. RL fine-tuned Llama3.1-8B and Qwen3-8B show substantial improvements on the Phi-CCT faithfulness metric, with in-distribution scores rising from near-zero to as high as 0.664, and out-of-distribution scores reaching up to 0.691 on held-out tasks such as StrategyQA. Cross-intervention generalization is weaker but more interesting: a priori we would not expect a model trained only on random word insertions to generalize to user-bias phrases, yet Llama3.1-8B shows non-zero transfer in this direction. The reverse direction and Qwen3-8B do not replicate this, indicating model-dependent and setup-dependent effects we cannot yet explain. Lastly we analyze model behavior to rule out reward gaming behaviors that often plague RL training. Ultimately, we show that models can be trained to implicitly identify influential factors and disclose them, offering a scalable path toward reducing unfaithful reasoning in LLMs.