추론이 중요합니다: 추론 조건부 선호도 최적화를 통해 다중 모드 대규모 추론 모델의 환각 현상 완화

Reasoning Matters: Mitigate Hallucination in Multimodal Large Reasoning Models via Reasoning-Conditioned Preference Optimization

다중 모드 대규모 추론 모델은 추론 패러다임을 도입하여 복잡한 시각-언어 작업에서 강력한 성능을 보여줍니다. 그러나 여전히 심각한 환각 문제를 안고 있습니다. 기존의 학습 기반 방법들은 일반적으로 응답 수준에서의 직접적인 선호도 최적화(DPO)를 통해 환각을 완화하는데, 여기서 사고 과정(Chain-of-Thought, CoT)과 최종 답변은 하나의 통합된 출력으로 처리되어 함께 최적화됩니다. 본 연구에서는 이러한 방식이 답변만을 최적화하는 것과 유사한 성능을 보이는 점에 주목하여, 이는 주로 답변 수준의 선호도를 학습하며, CoT 수준의 지침은 충분히 활용되지 못함을 보여줍니다. 이 문제를 해결하기 위해, 우리는 명시적으로 CoT를 중심으로 하는 선호도 용어를 정의하고, 추론 조건부 직접 선호도 최적화(RC-DPO)라는 새로운 방법을 제안합니다. RC-DPO는 CoT를 답변 생성의 조건으로 모델링하고, 동일한 선호되는 답변에 대해 서로 다른 CoT 조건 하에서 선호도를 비교하여, 답변을 뒷받침하는 추론 과정의 일관성을 향상시킵니다. 또한, 최적화를 더욱 개선하기 위해, 시각적으로 기반되고 논리적으로 일관된 CoT를 긍정적인 예시로 사용하고, 어텐션 가이드 방식의 CoT 토큰 제거를 통해 부정적인 예시를 구성하는 추론 강화 선호도 데이터 생성 전략을 도입했습니다. 다양한 모델과 벤치마크에서의 광범위한 실험 결과는 RC-DPO가 환각 현상을 효과적으로 완화하고 다중 모드 추론 과정의 신뢰성을 향상시킨다는 것을 보여줍니다.

Multimodal Large Reasoning Models introduce the reasoning paradigm, demonstrating strong capabilities on complex vision-language tasks. However, they still suffer from severe hallucinations. Existing training-based methods typically mitigate hallucinations through response-level direct preference optimization (DPO), where the Chain-of-Thought (CoT) and the final answer are treated as a monolithic output and optimized jointly. We reveal that this formulation performs similarly to answer-only optimization, suggesting that it primarily learns answer-level preference, while leaving CoT-level supervision insufficiently exploited. To address this issue, we explicitly formulate a CoT-oriented preference term and derive Reasoning-Conditioned Direct Preference Optimization (RC-DPO), which models the CoT as a condition for answer generation and contrasts the preference for the same preferred answer under different CoT conditions, promoting answer-supportive reasoning chain alignment. To further improve optimization, we introduce a reasoning-enhanced preference data generation strategy that employs Monte Carlo Tree Search to discover visually grounded and logically consistent CoTs as positive samples, and attention-guided CoT token pruning to construct negative ones. Extensive experiments across various models and benchmarks show that RC-DPO effectively mitigates hallucinations and improves the reliability of the multimodal reasoning process.