MuNet: 단일 이미지로부터 3D 인간 메시 복구 및 3D 의류 착용 인간 재구성의 상호 보완 네트워크

MuNet: A Mutualistic Network for Joint 3D Human Mesh Recovery and 3D Clothed Human Reconstruction from Single Images

3차원 인간 메시 복구와 3차원 의류 착용 인간 재구성은 본질적으로 관련되어 있지만, 오랫동안 개별적으로 연구되어 왔으며, 이로 인해 공동 최적화를 통한 잠재적인 이점을 간과하게 되었습니다. 이러한 한계를 극복하기 위해, 우리는 두 가지 작업을 단일 프레임워크 내에서 해결하는 방법을 제안하며, 이를 통해 상호 의존성을 효과적으로 활용할 수 있습니다. 이러한 아이디어를 바탕으로, 우리는 단일 이미지로부터 3차원 인간 메시 복구 및 3차원 의류 착용 인간 재구성을 위한 상호 보완 네트워크인 MuNet을 제안합니다. 첫째, 모든 3차원 모델에 대한 통일된 표현 방식으로 2-매니폴드 그래프를 채택하여 3차원 인간 메시 복구와 의류 착용 인간 재구성에 걸쳐 일관성 있는 모델링을 가능하게 합니다. 둘째, 초기 그래프를 점진적으로 변형하여 3차원 인간 메시를 생성하고, 이를 더욱 정교한 3차원 의류 착용 인간 모델로 개선하는 엔드 투 엔드 그래프 컨볼루션 네트워크를 설계했습니다. 셋째, 학습 과정에서 두 작업 간의 상호 작용을 가능하게 하는 상호 보완 메커니즘을 도입합니다. 즉, 3차원 인간 메시 복구가 3차원 의류 착용 인간 재구성에 대한 지침을 제공하고, 재구성 피드백은 3차원 인간 메시 복구를 개선하는 방식으로 작동합니다. 우리는 MuNet을 Human3.6M, 3DPW, MPI-INF-3DHP, THuman2.0, CAPE 및 RenderPeople을 포함한 3차원 인간 메시 복구 및 3차원 의류 착용 인간 재구성을 위한 여섯 개의 표준 데이터 세트에서 광범위하게 평가했습니다. 실험 결과는 MuNet이 모든 데이터 세트에 걸쳐 두 가지 작업 모두에서 최첨단 성능을 달성함을 보여줍니다. MuNet의 코드는 연구 목적으로 https://github.com/starVisionTeam/MuNet 에서 제공됩니다.

3D human mesh recovery and 3D clothed human reconstruction are inherently related, yet they have long been studied in isolation, thereby overlooking the potential gains of joint optimization. To overcome this limitation, we propose to address these two tasks within a unified framework, which allows their mutual dependencies to be effectively exploited. Building on this idea, we propose MuNet, a mutualistic network for joint 3D human mesh recovery and 3D clothed human reconstruction from single images. First, we adopt 2-manifold graphs as a unified representation for all 3D models, enabling consistent modeling across 3D human mesh recovery and clothed human reconstruction. Second, we design an end-to-end graph convolutional network that progressively deforms an initial graph into a 3D human mesh and refines it into a detailed 3D clothed human model. Third, we introduce a mutualistic mechanism that allows reciprocal interaction between the two tasks {during training}, where 3D human mesh recovery provides guidance for 3D clothed human reconstruction, and reconstruction feedback refines the 3D human mesh recovery. We extensively evaluate MuNet on six benchmark datasets for 3D human mesh recovery and 3D clothed human reconstruction, including Human3.6M, 3DPW, MPI-INF-3DHP, THuman2.0, CAPE, and RenderPeople. Experimental results demonstrate that MuNet achieves state-of-the-art performance on both tasks across all datasets. The code of MuNet is released for research purposes at https://github.com/starVisionTeam/MuNet.