CARE Drive: 자율 주행에서 비전-언어 모델의 이유 반응성을 평가하기 위한 프레임워크

CARE Drive A Framework for Evaluating Reason-Responsiveness of Vision Language Models in Automated Driving

비전-언어 모델을 포함한 파운데이션 모델들은 장면을 해석하고, 행동을 제안하며, 자연어 설명을 생성하기 위해 자율 주행 분야에서 점점 더 많이 사용되고 있다. 그러나 기존의 평가 방법들은 모델의 결정이 인간에게 유의미한 고려사항들을 반영하는지 확인하지 않은 채, 주로 안전성이나 경로 정확도와 같은 결과 기반의 성능만을 평가한다. 그 결과, 이러한 모델이 생성한 설명이 진정한 이유 반응형 의사결정에 해당하는지, 아니면 단순히 사후 합리화에 불과한지 불분명하다. 이러한 한계는 잘못된 신뢰를 형성할 수 있기 때문에 안전이 중요한 도메인에서 특히 중대하다. 이러한 격차를 해소하기 위해, 우리는 자율 주행에 적용된 비전-언어 모델의 이유 반응성을 평가하기 위한 모델 불가지론적 프레임워크인 'CARE Drive(주행을 위한 맥락 인식 이유 평가)'를 제안한다. CARE Drive는 인간의 이유가 의사결정 행동에 인과적 영향을 미치는지 평가하기 위해, 통제된 맥락 변화 하에서 베이스라인 모델과 이유가 보강된 모델의 결정을 비교한다. 이 프레임워크는 2단계 평가 과정을 사용한다. 먼저 프롬프트 캘리브레이션을 통해 안정적인 출력을 보장한다. 그런 다음 체계적인 맥락 섭동(perturbation)을 통해 안전 마진, 사회적 압력, 효율성 제약과 같은 인간의 이유에 대한 결정의 민감도를 측정한다. 우리는 상충하는 규범적 고려사항이 포함된 자전거 추월 시나리오에서 CARE Drive를 시연한다. 연구 결과, 명시적인 인간의 이유는 모델의 결정에 유의미한 영향을 미치며, 전문가가 권장하는 행동과의 일치도를 향상시키는 것으로 나타났다. 그러나 반응성은 맥락적 요인에 따라 달라지며, 이는 서로 다른 유형의 이유에 대해 민감도가 균일하지 않음을 시사한다. 이러한 발견은 모델 파라미터를 수정하지 않고도 파운데이션 모델의 이유 반응성을 체계적으로 평가할 수 있다는 실증적 증거를 제공한다.

Foundation models, including vision language models, are increasingly used in automated driving to interpret scenes, recommend actions, and generate natural language explanations. However, existing evaluation methods primarily assess outcome based performance, such as safety and trajectory accuracy, without determining whether model decisions reflect human relevant considerations. As a result, it remains unclear whether explanations produced by such models correspond to genuine reason responsive decision making or merely post hoc rationalizations. This limitation is especially significant in safety critical domains because it can create false confidence. To address this gap, we propose CARE Drive, Context Aware Reasons Evaluation for Driving, a model agnostic framework for evaluating reason responsiveness in vision language models applied to automated driving. CARE Drive compares baseline and reason augmented model decisions under controlled contextual variation to assess whether human reasons causally influence decision behavior. The framework employs a two stage evaluation process. Prompt calibration ensures stable outputs. Systematic contextual perturbation then measures decision sensitivity to human reasons such as safety margins, social pressure, and efficiency constraints. We demonstrate CARE Drive in a cyclist overtaking scenario involving competing normative considerations. Results show that explicit human reasons significantly influence model decisions, improving alignment with expert recommended behavior. However, responsiveness varies across contextual factors, indicating uneven sensitivity to different types of reasons. These findings provide empirical evidence that reason responsiveness in foundation models can be systematically evaluated without modifying model parameters.