증류 확산 모델을 활용한 실시간 시각 시스템의 열 감지 기능 추가

Adding Thermal Awareness to Visual Systems in Real-Time via Distilled Diffusion Models

순수한 RGB 기반의 시각 모델은 야간이나 안개와 같은 어려운 환경에서 신뢰성 있는 정보를 제공하지 못하여 성능 저하 및 안전 문제를 야기할 수 있습니다. 적외선 이미징은 열을 방출하는 원천을 캡처하여 중요한 보완 정보를 제공하지만, 기존의 고품질 융합 방법은 과도한 지연 시간으로 인해 실시간 엣지 환경에 적용하기 어렵습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 완전하게 독립적이고, 플러그 앤 플레이 방식으로 사용할 수 있는 융합 모듈인 FusionProxy를 제안합니다. FusionProxy는 확산 수준의 품질을 가지며, 교사 샘플 앙상블의 두 가지 상호 보완적인 통계적 특징을 활용합니다. 첫째, 원시 이미지 공간에서의 픽셀 단위 분산을 활용하여 픽셀 수준의 감독을 가중치로 사용하고, 둘째, 동결된 기반 네트워크 내부의 픽셀 단위 분산을 활용하여 공간적으로 특징 수준의 정렬을 수행합니다. 훈련된 FusionProxy는 별도의 최적화 없이도 기존의 시각 인식 시스템에 직접 통합될 수 있습니다. 광범위한 실험을 통해, 제안하는 방법이 정적 인식 작업에서 우수한 성능을 달성하며, 자율 주행과 같은 동적 작업에서 견고성을 크게 향상시키는 것을 확인했습니다. 더욱 중요한 점은, FusionProxy는 고성능 GPU부터 일반 하드웨어에 이르기까지 다양한 플랫폼에서 실시간 추론 속도를 달성하며, 이를 통해 일상적인 환경에서도 활용 가능한 유연하고 일반화된 솔루션을 제공합니다.

Purely RGB-based vision models often fail to provide reliable cues in challenging scenarios such as nighttime and fog, leading to degraded performance and safety risks. Infrared imaging captures heat-emitting sources and provides critical complementary information, but existing high-fidelity fusion methods suffer from prohibitive latency, rendering them impractical for real-time edge deployment. To address this, we propose FusionProxy, a real-time image fusion module designed as a fully independent, plug-and-play component with diffusion level quality. FusionProxy exploits two complementary statistics of a teacher sample ensemble: per-pixel variance in raw image space, used to weight pixel-level supervision, and per-pixel variance inside frozen foundation backbones, used to route feature-level alignment spatially. Once trained, FusionProxy can be directly integrated into any visual perception system without joint optimization. Extensive experiments demonstrate that our method achieves superior performance on static recognition tasks and significantly enhances robustness in dynamic tasks, including closed-loop autonomous driving. Crucially, FusionProxy achieves real-time inference speeds on diverse platforms, from high-end GPUs to commodity hardware, providing a flexible and generalizable solution for all-day perception.