NSF-HRPT: 신경망 기반 의미 공간과 계층적 위험 인식 트리를 활용한 안전 관련 시나리오 평가

NSF-HRPT: Neural Semantic Field meets Hierarchical Risk Perception Tree for Safety-Critical Scenario Assessment

자율 주행 시스템에서 안전 관련 시나리오에서 위험을 정확하게 평가하고 예측하는 능력은 매우 중요합니다. 기존 연구는 충돌 예측 분야에서 상당한 발전을 이루었지만, 다중 에이전트 상호작용의 복잡성과 실제 환경의 불확실성으로 인해 단일 카메라 입력으로부터 정확하게 위험 수준을 정량화하는 것은 여전히 어려운 과제입니다. 이러한 문제점을 해결하기 위해, 본 논문에서는 학습 기반 인식과 구조적 추론을 결합하여 정량적인 위험 평가를 수행하는 새로운 프레임워크인 NSF-HRPT를 제안합니다. 제안하는 방법은 시뮬레이션 데이터를 통해 장면의 의미, 경로 예측, 그리고 확률적 충돌 시간(TTC) 분포를 모델링하는 신경망 기반 의미 공간(NSF)을 특징으로 합니다. 추론 과정에서, 사전 학습된 NSF는 계층적 위험 인식 트리(HRPT)에 대한 사전 지식으로 활용되어 효율적인 병렬 계산과 다중 에이전트 위험에 대한 공간적 추론을 가능하게 합니다. 또한, 파운데이션 모델로부터 얻은 사전 지식을 통합하여 재학습 없이 실세계 적용성을 향상시키는 Sim2Real 강화 전략을 도입했습니다. 광범위한 평가 결과, 제안하는 프레임워크는 합성 벤치마크에서 최첨단 성능을 달성했으며, 실제 데이터셋에서도 충돌 시간 추정 정확도와 위험 지역화 정밀도 측면에서 경쟁력 있는, 거의 최첨단 수준의 결과를 보여주었습니다. 제안된 방법은 단일 카메라 입력으로부터 실시간 위험 인식을 위한 효과적인 솔루션을 제공합니다.

The ability to accurately assess and anticipate risks in safety-critical scenarios is crucial for autonomous driving systems. While existing research has made progress in collision prediction, accurately quantifying risk levels from monocular vision inputs remains challenging due to the complex dynamics of multi-agent interactions and the inherent uncertainty in real-world environments. To address these challenges, we present NSF-HRPT, a novel framework that combines learning-based perception with structured reasoning for quantitative risk assessment. Our approach features a Neural Semantic Field (NSF) that learns to model scene semantics, trajectory predictions, and probabilistic Time-to-Collision (TTC) distributions from simulation data. During inference, the pre-trained NSF serves as a prior for our Hierarchical Risk Perception Tree (HRPT), which enables efficient parallel computation and spatial reasoning about multi-agent risks. Additionally, we introduce a Sim2Real enhancement strategy that improves real-world applicability without retraining by incorporating priors from foundation models. Extensive evaluations demonstrate that our framework achieves state-of-the-art performance on synthetic benchmarks and delivers competitive, near-state-of-the-art results on real-world datasets for both TTC estimation accuracy and risk localization precision. The proposed method provides an effective solution for real-time risk awareness from monocular camera inputs.