확장 가능한 객체 관계 인코딩을 통한 대규모 언어 모델의 향상된 3차원 공간 추론

Scalable Object Relation Encoding for Better 3D Spatial Reasoning in Large Language Models

공간 추론은 3차원 장면 내의 공간적 관계를 기반으로 대상 객체를 위치시키는 것을 목표로 하며, 지능형 자율 에이전트 개발에 중요한 역할을 합니다. 3차원 장면-언어 쌍 데이터의 제한적인 가용성으로 인해, 강력한 추론 능력을 갖춘 모델을 처음부터 학습시키는 것은 어려운 과제입니다. 기존 연구에서는 3차원 장면 표현을 대규모 언어 모델(LLM)의 입력 공간에 주입하고, 사전 학습된 이해 및 추론 능력을 활용하여 공간 추론을 수행하려는 시도가 있었습니다. 그러나 절대 위치를 인코딩하는 모델은 조기에 융합된 특징으로부터 공간적 관계를 추출하는 데 어려움을 겪으며, 모든 공간적 관계(객체의 개수에 따라 2차적으로 증가)를 입력 토큰으로 명시적으로 인코딩하는 방법은 확장성이 떨어지는 문제가 있었습니다. 이러한 한계를 극복하기 위해, 객체의 개수에 비례하여 입력 길이를 갖는 새로운 위치 임베딩 방법인 QuatRoPE를 제안합니다. QuatRoPE는 어텐션 레이어 내에서 내적 연산을 통해 쌍별 공간적 관계를 명시적으로 계산합니다. QuatRoPE의 3차원 좌표에 대한 전체적인 벡터 인코딩은 높은 수준의 공간적 일관성을 보장하며, 장면의 기하학적 무결성을 유지합니다. 또한, Isolated Gated RoPE Extension (IGRE)을 도입하여 QuatRoPE의 영향을 객체 관련 토큰으로 제한함으로써, LLM의 기존 위치 임베딩에 대한 간섭을 최소화하고 LLM의 원래 기능을 유지합니다. 광범위한 실험을 통해 제안하는 방법의 효과를 입증했습니다. 코드 및 데이터는 https://github.com/oceanflowlab/QuatRoPE 에서 확인할 수 있습니다.

Spatial reasoning focuses on locating target objects based on spatial relations in 3D scenes, which plays a crucial role in developing intelligent embodied agents. Due to the limited availability of 3D scene-language paired data, it is challenging to train models with strong reasoning ability from scratch. Previous approaches have attempted to inject 3D scene representations into the input space of Large Language Models (LLMs) and leverage the pretrained comprehension and reasoning abilities for spatial reasoning. However, models encoding absolute positions struggle to extract spatial relations from prematurely fused features, while methods explicitly encoding all spatial relations (which is quadratic in the number of objects) as input tokens suffer from poor scalability. To address these limitations, we propose QuatRoPE, a novel positional embedding method with an input length that is linear to the number of objects, and explicitly calculates pairwise spatial relations through the dot product in attention layers. QuatRoPE's holistic vector encoding of 3D coordinates guarantees a high degree of spatial consistency, maintaining fidelity to the scene's geometric integrity. Additionally, we introduce the Isolated Gated RoPE Extension (IGRE), which effectively limits QuatRoPE's influence to object-related tokens, thereby minimizing interference with the LLM's existing positional embeddings and maintaining the LLM's original capabilities. Extensive experiments demonstrate the effectiveness of our approaches. The code and data are available at https://github.com/oceanflowlab/QuatRoPE.