PointCoT: 명시적인 3차원 기하학적 추론을 위한 다중 모드 벤치마크

PointCoT: A Multi-modal Benchmark for Explicit 3D Geometric Reasoning

다중 모드 대규모 언어 모델(MLLM)은 2차원 장면 이해에 능숙하지만, 이러한 인지 능력을 3차원 포인트 클라우드 이해에 확장하는 것은 여전히 중요한 과제입니다. 현재의 접근 방식은 주로 3차원 특징을 사전 훈련된 모델과 연결하는 데 초점을 맞추고 있습니다. 그러나 이러한 방법들은 일반적으로 기하학적 추론을 암시적인 매핑 과정으로 취급합니다. 이러한 방법들은 중간 단계의 논리적 과정을 생략하므로 기하학적 환각 현상이 발생합니다. 즉, 모델은 정교한 구조적 세부 사항을 반영하지 못하면서도 그럴듯한 답변을 생성합니다. 이러한 격차를 해소하기 위해, 우리는 MLLM이 3차원 데이터에 대해 명시적인 체인 오브 씽크(CoT) 추론을 수행할 수 있도록 하는 새로운 프레임워크인 PointCoT를 제시합니다. 우리는 "보고, 생각하고, 답변하라"라는 패러다임을 옹호합니다. 이 접근 방식에서 모델은 최종 답변을 예측하기 전에 기하학적으로 타당한 근거를 생성하도록 학습됩니다. 이를 지원하기 위해, 우리는 계층적 CoT 주석이 포함된 약 86,000개의 instruction-tuning 샘플로 구성된 대규모 벤치마크인 Point-Reason-Instruct를 구축했습니다. 이중 스트림 다중 모드 아키텍처를 활용하여, 우리의 방법은 의미론적 외관과 기하학적 사실을 결합합니다. 광범위한 실험 결과, PointCoT는 복잡한 추론 작업에서 최첨단 성능을 달성하는 것으로 나타났습니다.

While Multimodal Large Language Models (MLLMs) demonstrate proficiency in 2D scenes, extending their perceptual intelligence to 3D point cloud understanding remains a significant challenge. Current approaches focus primarily on aligning 3D features with pre-trained models. However, they typically treat geometric reasoning as an implicit mapping process. These methods bypass intermediate logical steps and consequently suffer from geometric hallucinations. They confidently generate plausible responses that fail to ground in precise structural details. To bridge this gap, we present PointCoT, a novel framework that empowers MLLMs with explicit Chain-of-Thought (CoT) reasoning for 3D data. We advocate for a \textit{Look, Think, then Answer} paradigm. In this approach, the model is supervised to generate geometry-grounded rationales before predicting final answers. To facilitate this, we construct Point-Reason-Instruct, a large-scale benchmark comprising $\sim$86k instruction-tuning samples with hierarchical CoT annotations. By leveraging a dual-stream multi-modal architecture, our method synergizes semantic appearance with geometric truth. Extensive experiments demonstrate that PointCoT achieves state-of-the-art performance on complex reasoning tasks.