SAM 3D Animal: 자연 환경에서 촬영된 이미지로부터 프롬프트 기반 동물 3D 재구성

SAM 3D Animal: Promptable Animal 3D Reconstruction from Images in the Wild

자연 환경에서의 3D 동물 재구성은 종 다양성, 빈번한 가려짐, 그리고 다수의 동물이 등장하는 장면의 흔한 발생 등의 문제로 인해 여전히 어려운 과제입니다. 기존 방법들은 주로 단일 동물 환경에 초점을 맞추고 있습니다. 본 논문에서는 단일 이미지로부터 다수의 동물을 3D 재구성할 수 있는 최초의 프롬프트 기반 프레임워크인 SAM 3D Animal을 제시합니다. SMAL+ 파라메트릭 동물 모델을 기반으로 구축된 본 방법은 여러 개의 인스턴스를 동시에 재구성하며, 키포인트와 마스크 형태의 유연한 프롬프트를 지원하여 혼잡하고 가려진 장면에서 더욱 신뢰할 수 있는 구분을 가능하게 합니다. 이러한 모델을 학습하기 위해, 우리는 5천 장 이상의 이미지로 구성된 다중 동물 3D 데이터셋인 Herd3D를 추가로 소개합니다. Herd3D는 종, 상호 작용, 그리고 가려짐 패턴의 다양성을 높이는 데 중점을 두었습니다. Animal3D, APTv2, 그리고 Animal Kingdom 데이터셋에 대한 실험 결과, 본 프레임워크는 기존의 모델 기반 및 모델 프리 방법 모두에서 최첨단 결과를 달성했으며, 이는 자연 환경에서 프롬프트 기반 동물 3D 재구성을 위한 확장 가능하고 효과적인 솔루션을 제공한다는 것을 보여줍니다.

3D animal reconstruction in the wild remains challenging due to large species variation, frequent occlusions, and the prevalence of multi-animal scenes, while existing methods predominantly focus on single-animal settings. We present SAM 3D Animal, the first promptable framework for multi-animal 3D reconstruction from a single image. Built on the SMAL+ parametric animal model, our method jointly reconstructs multiple instances and supports flexible prompts in the form of keypoints and masks which enable more reliable disambiguation in crowded and occluded scenes. To train such a model, we further introduce Herd3D, a multi-animal 3D dataset containing over 5K images, designed to increase diversity in species, interactions, and occlusion patterns. Experiments on the Animal3D, APTv2, and Animal Kingdom datasets show that our framework achieves state-of-the-art results over both existing model-based and model-free methods, demonstrating a scalable and effective solution for prompt-driven animal 3D reconstruction in the wild.