ERF-GS: 분리된 이벤트 및 RGB 시점에서 빠른 움직임 재구성

ERF-GS: Reconstructing Fast Motion from Disjoint Event-RGB Viewpoints

신경망 기반 표현 방식인 신경 라디언스 필드(NeRF)와 3D 가우시안 스플래팅(3DGS)은 향상된 시각적 정확성과 확장성을 통해 동적인 3차원 장면 복원 분야에 혁명을 가져왔습니다. 그러나 빠른 움직임의 객체 복원은 여전히 어려운 과제이며, 기존의 프레임 기반 비디오 방법을 사용하는 경우 스포츠 이벤트나 동물 영상과 같은 환경에서 어려움을 겪습니다. 본 논문에서는 고속 프레임률을 가진 새로운 이벤트 센서를 활용하여 가우시안 스플래팅 파이프라인의 최적화 및 밀도 증가 단계에 이벤트 정보를 통합하는 이벤트-RGB 융합 가우시안 스플래팅(ERF-GS) 프레임워크를 제안합니다. ERF-GS는 다른 많은 이벤트 기반 장면 복원 방법과는 달리, 현실적인 시뮬레이션 환경을 사용하여 개발되었으며, RGB 입력으로부터 분리된 이벤트 기반 학습을 구현합니다. 이러한 설계 덕분에 ERF-GS는 간단한 합성 데이터뿐만 아니라 복잡한 레이아웃, 낮은 프레임률 및 심각한 모션 블러를 가진 실제 비디오에도 적용될 수 있습니다. 실험 결과, ERF-GS는 흐릿한 RGB 프레임을 포함하고 분리된 RGB-이벤트 시점을 갖는 Neu3D 및 Nvidia 데이터셋의 다양한 변형에서 4DGS 기준 모델과 동시에 개발된 E-D3DGS보다 우수한 성능을 보였습니다. 본 연구의 코드는 https://github.com/andrewbxy/ERF-GS 에서 확인할 수 있습니다.

Deep learning-driven representations such as neural radiance fields (NeRFs) and 3D Gaussian splatting (3DGS) have revolutionized the field of dynamic 3D scene reconstruction with improved visual precision and scalability. However, the reconstruction of fast-moving objects remains a challenge; existing methods based on conventional frame-based videos often struggle in scenarios such as sports events and animal videography. We propose an event-RGB fusion Gaussian splatting (ERF-GS) framework that integrates event information into both optimization and densification stages of the Gaussian splatting pipeline, taking advantage of novel event sensors with high frame-rate. Unlike many other event-assisted scene reconstruction methods, ERF-GS was developed using realistic simulation settings and realizes event-based learning detached from RGB inputs. This design enables its application beyond straightforward synthetic data into the realm of natural video with complex layout, low frame rates and severe motion blur. Our experiments show that ERF-GS outperforms both the 4DGS baseline and the concurrent E-D3DGS on different variants of the Neu3D and Nvidia datasets which include blurry RGB frames and disjoint RGB-event viewpoints. Our code is available at https://github.com/andrewbxy/ERF-GS.