3D-Agent: 확장 가능한 3D 객체 어노테이션을 위한 다중 모드 기반 다중 에이전트 협업

3D-Agent:Tri-Modal Multi-Agent Collaboration for Scalable 3D Object Annotation

자율 주행 로봇 및 증강 현실 분야에서의 응용으로 인해 3D 객체 어노테이션은 공간 복잡성, 가려짐, 시점 불일치 등 2D 어노테이션을 넘어선 어려움을 야기합니다. 기존의 단일 모델 기반 접근 방식은 이러한 문제들을 효과적으로 해결하는 데 어려움을 겪는 경우가 많습니다. 본 연구에서는 대규모 3D 어노테이션을 향상시키기 위해, 2D 다중 뷰 이미지, 텍스트 설명, 3D 포인트 클라우드 등 세 가지 모드 데이터를 통합하고 다중 에이전트 협업 아키텍처를 활용하는 새로운 프레임워크인 Tri MARF를 제안합니다. Tri MARF는 다중 뷰 설명을 생성하는 비전-언어 모델 에이전트, 최적의 설명을 선택하는 정보 집계 에이전트, 그리고 텍스트 의미를 3D 기하학적 구조와 정렬하여 세밀한 설명을 생성하는 게이팅 에이전트의 세 가지 전문 에이전트로 구성됩니다. Objaverse, LVIS, Objaverse XL 및 ABO 데이터셋에 대한 광범위한 실험 결과, Tri MARF가 기존 방법보다 CLIPScore 88점, retrieval accuracy 45.2점 및 43.8점(ViLT R at 5), 그리고 단일 NVIDIA A100 GPU에서 시간당 최대 12,000개의 객체 처리 속도를 달성하며, 기존 최고 성능 모델을 크게 능가하는 것을 확인했습니다.

Driven by applications in autonomous driving robotics and augmented reality 3D object annotation presents challenges beyond 2D annotation including spatial complexity occlusion and viewpoint inconsistency Existing approaches based on single models often struggle to address these issues effectively We propose Tri MARF a novel framework that integrates tri modal inputs including 2D multi view images textual descriptions and 3D point clouds within a multi agent collaborative architecture to enhance large scale 3D annotation Tri MARF consists of three specialized agents a vision language model agent for generating multi view descriptions an information aggregation agent for selecting optimal descriptions and a gating agent that aligns textual semantics with 3D geometry for refined captioning Extensive experiments on Objaverse LVIS Objaverse XL and ABO demonstrate that Tri MARF substantially outperforms existing methods achieving a CLIPScore of 88 point 7 compared to prior state of the art methods retrieval accuracy of 45 point 2 and 43 point 8 on ViLT R at 5 and a throughput of up to 12000 objects per hour on a single NVIDIA A100 GPU