Tri-Info: 정보 이론을 활용한 VLA 모델의 일반화 가능하고 해석 가능한 오류 예측

Tri-Info: Generalizable, Interpretable Failure Prediction for VLA Models via Information Theory

비전-언어-행동(VLA) 모델은 다양한 작업에 점점 더 많이 사용되고 있지만, 여전히 투명하지 않아 물리적 상호 작용으로 인해 심각한 문제를 일으킬 수 있으므로, 일반화 가능하고 해석 가능한 오류 감지가 필수적입니다. 본 연구에서는 성공적인 실행과 실패한 실행이 체계적으로 다른 정보 이론적 특징을 갖는다는 것을 관찰했습니다. 이를 바탕으로 VLA 제어를 폐쇄 루프 정보 파이프라인으로 정의하고, 행동의 다양성, 시간적 일관성 및 상태 전이에 대한 결합 여부를 나타내는 트리플 정보(Tri-Info) 신호를 도출합니다. 6개의 VLA 모델과 3가지 표준 환경에서 Tri-Info는 기존 방법들을 능가하는 성능을 보입니다. 또한, Tri-Info는 재학습 없이도 다양한 아키텍처, 환경 및 시뮬레이션-실제 간 격차를 넘어 일반화되며, 기존의 오류 감지기가 실패하는 실제 작업에서 83%의 정확도를 달성합니다. 이러한 결과는 Tri-Info가 강력한 일반화 능력을 가진 간단하면서도 효과적인 방법이며, 오류를 감지할 뿐만 아니라 근본적인 오류 모드에 대한 해석 가능한 진단 정보를 제공한다는 것을 입증합니다.

Vision-Language-Action (VLA) models are increasingly deployed across diverse tasks, yet they remain black boxes whose physical interactions can cause irreversible harm, making generalizable and interpretable failure detection essential. We observe that successful and failed rollouts carry systematically different information-theoretic signatures. Building on this, we formalize VLA control as a closed-loop information pipeline and derive the Triple Information-theoretic (Tri-Info) signals that capture whether actions remain diverse, temporally consistent, and coupled to state transitions. Across six VLA models and three benchmark environments, Tri-Info matches the strongest baselines in-domain. Moreover, Tri-Info transfers across architectures, environments, and the sim-to-real gap without retraining, reaching 83\% accuracy on real-world tasks where prior detectors collapse to chance. This establishes Tri-Info as a simple yet powerful method that not only detects failures with strong cross-domain generalization, but also delivers interpretable diagnostics of the underlying failure modes.