사전 학습된 기반 모델을 활용한 거리 표지판 인식: RGB-이벤트 하이퍼그래프 프롬프트

RGB-Event HyperGraph Prompt for Kilometer Marker Recognition based on Pre-trained Foundation Models

지하철 열차는 종종 복잡한 환경에서 운행하며, 이는 조명 변화, 고속 이동, 악천후 등 다양한 요인으로 인해 시각 인식 시스템에 큰 어려움을 야기합니다. 특히, 기존 RGB 카메라에만 의존하는 시스템은 이러한 환경에서 성능 저하가 두드러질 수 있습니다. 이러한 문제점을 해결하기 위해, 우리는 이벤트 카메라를 시각 인식 시스템에 통합하여 저조도 환경, 고속 시나리오, 저전력 소비와 같은 장점을 활용하고자 합니다. 본 연구에서는, GNSS 신호가 제한적인 환경에서 자율 지하철 위치 추정에 필수적인 거리 표지판 인식(KMR)에 초점을 맞추었습니다. 이를 위해, 우리는 사전 학습된 RGB 광학 문자 인식(OCR) 기반 모델을 활용하고, 다중 모드 적응을 통해 성능을 향상시키는 견고한 기본 방법을 제안합니다. 또한, 우리는 5,599개의 동기화된 RGB-이벤트 샘플 쌍으로 구성된 EvMetro5K라는 최초의 대규모 RGB-이벤트 데이터셋을 구축했으며, 이는 4,479개의 학습 샘플과 1,120개의 테스트 샘플로 구성되어 있습니다. EvMetro5K 및 기타 널리 사용되는 벤치마크를 사용한 광범위한 실험 결과는, 제안된 접근 방식이 KMR에 효과적임을 입증합니다. 데이터셋과 소스 코드는 https://github.com/Event-AHU/EvMetro5K_benchmark 에서 공개될 예정입니다.

Metro trains often operate in highly complex environments, characterized by illumination variations, high-speed motion, and adverse weather conditions. These factors pose significant challenges for visual perception systems, especially those relying solely on conventional RGB cameras. To tackle these difficulties, we explore the integration of event cameras into the perception system, leveraging their advantages in low-light conditions, high-speed scenarios, and low power consumption. Specifically, we focus on Kilometer Marker Recognition (KMR), a critical task for autonomous metro localization under GNSS-denied conditions. In this context, we propose a robust baseline method based on a pre-trained RGB OCR foundation model, enhanced through multi-modal adaptation. Furthermore, we construct the first large-scale RGB-Event dataset, EvMetro5K, containing 5,599 pairs of synchronized RGB-Event samples, split into 4,479 training and 1,120 testing samples. Extensive experiments on EvMetro5K and other widely used benchmarks demonstrate the effectiveness of our approach for KMR. Both the dataset and source code will be released on https://github.com/Event-AHU/EvMetro5K_benchmark