SONG: 소셜 네비게이션 성능 평가를 위한 사실적인 3D 가우시안 시뮬레이션 플랫폼

SONG: A Photorealistic 3D Gaussian Simulation Platform for Benchmarking Social Navigation

소셜 네비게이션은 단순화된 2차원 환경에서 벗어나, 로봇이 탑재된 시각 센서를 통해 얻은 정보만으로 사회적으로 적절한 행동을 수행해야 하는 보다 일반적인 비전 기반 환경으로 발전하고 있습니다. 그러나 이러한 발전을 뒷받침할 수 있는 시뮬레이션 플랫폼은 아직 부족합니다. 기존의 옵션들은 시각 정보를 제공하지 않거나, 움직이는 인간 아바타가 없거나, 실제 세계의 충실도를 제대로 반영하지 못하여 외관 및 보행자 행동 측면에서 한계를 드러내며, 비전 기반 소셜 네비게이션 연구 발전에 제한적인 지원을 제공합니다. 본 논문에서는 3D 가우시안 스플래팅(3DGS) 기술을 활용한 소셜 네비게이션 플랫폼인 SONG을 소개합니다. SONG은 장면 및 아바타 표현에 3DGS를 사용하고, 대규모 언어 모델이 생성한 의미론적으로 타당한 경로를 기반으로 보행자를 제어하며, 경로 조건에 따라 생성된 생성기를 사용하여 자연스러운 전체 동작을 합성합니다. 또한, 플랫폼 위에서 다양한 난이도로 구성된 평가 에피소드 모음인 SONG-Bench를 구축하고, 효율성, 안전성 및 사회적 준수성을 포괄하는 다차원적인 평가 지표 세트를 제안합니다. 대표적인 네비게이션 모델에 대한 체계적인 평가는 다음과 같은 세 가지 결과를 보여줍니다: (a) 비전 기반 소셜 네비게이션은 아직 해결해야 할 과제가 많습니다; (b) 사회적 예절을 갖추기 위해서는 중요한 안전 문제가 선행되어야 합니다; (c) 실제 데이터가 모델의 규모보다 더 중요합니다. 더욱이, 저희는 큐레이션된 데이터를 사용하여 미세 조정하면 실제 환경에서의 성공률을 효과적으로 향상시킬 수 있음을 보여줍니다. 저희는 SONG 플랫폼이 차세대 비전 기반 소셜 네비게이션 연구를 위한 신뢰할 수 있고 엄격한 테스트 환경을 제공할 수 있기를 바랍니다.

Social navigation has progressed from simplified 2D environments toward a more general vision-based setting, in which a robot needs to achieve socially compliant behavior purely from onboard visual observations. Yet supporting simulation platforms have not kept pace: existing options either lack visual observations, lack moving human avatars, or fall short of real-world fidelity in appearance and pedestrian behavior, offering limited support for advancing vision-based social navigation. We introduce SONG, a SOcial Navigation platform powered by 3D Gaussian splatting (3DGS). It leverages 3DGS for both scene and avatar representations, drives pedestrians using semantically grounded trajectories generated by a large language model, and synthesizes their full-body motion with a trajectory-conditioned generator to produce continuous, natural movement. On top of the platform, we curate SONG-Bench, a set of evaluation episodes stratified by difficulty, and propose a multi-dimensional metric suite covering effectiveness, safety, and social compliance. A systematic evaluation of representative navigation baselines reveals three findings: (a) vision-based social navigation is far from solved; (b) a critical safety deficit precedes social etiquette; (c) real-world data matters more than model scale. Crucially, we demonstrate that fine-tuning on our curated data effectively improves the success rate in real-world environments. We hope our platform provides a faithful and rigorous testbed for the next generation of vision-based social navigation research.