LocateAnything: 병렬 박스 디코딩을 통한 빠르고 고품질의 시각-언어 연계 및 객체 탐지

LocateAnything: Fast and High-Quality Vision-Language Grounding with Parallel Box Decoding

시각-언어 모델(VLM)은 일반적으로 시각적 연계 및 객체 탐지를 좌표-토큰 생성 문제로 정의하며, 각 2차원 박스를 여러 개의 1차원 토큰으로 분해하여 독립적으로 학습하고 디코딩합니다. 이러한 토큰 단위의 디코딩 방식은 박스 기하학 구조의 상호 연관성을 고려하지 못하고, 순차적인 생성 과정 때문에 실제 추론 속도에 병목 현상을 유발합니다. 본 논문에서는 병렬 박스 디코딩(PBD)을 기반으로 하는 통합된 시각적 연계 및 객체 탐지 프레임워크인 LocateAnything을 소개합니다. LocateAnything은 경계 상자 및 점과 같은 기하학적 요소를 단일 단계에서 원자 단위로 디코딩함으로써, 박스 내부의 기하학적 일관성을 유지하고 상당한 수준의 병렬 처리를 가능하게 합니다. PBD는 디코딩 처리 속도와 위치 정확도를 모두 향상시키는 것을 확인했습니다. 또한, 확장 가능한 데이터 엔진을 개발하여 1억 3천만 개 이상의 학습 샘플로 구성된 대규모 데이터셋인 LocateAnything-Data를 구축하고, 고정밀 위치 추정을 위한 데이터 다양성을 크게 증가시켰습니다. 광범위한 실험 결과는 LocateAnything이 속도와 정확성 사이의 균형을 향상시켜 다양한 벤치마크에서 디코딩 처리량은 크게 높이고, 높은 IoU(Intersection over Union) 값을 갖는 위치 정확도를 개선한다는 것을 보여줍니다. 이러한 결과는 병렬 박스 디코딩과 대규모 학습 데이터가 효율적이고 정밀한 통합 시각 연계 및 객체 탐지를 가능하게 하는 상호 보완적인 이점을 제공한다는 것을 강조합니다.

Vision-language models (VLMs) commonly formulate visual grounding and detection as a coordinate-token generation problem, serializing each 2D box into multiple 1D tokens that are learned and decoded largely independently. This token-by-token decoding mismatches the coupled structure of box geometry and creates a practical inference bottleneck due to strictly sequential generation. We introduce LocateAnything, a unified generative grounding and detection framework based on Parallel Box Decoding (PBD). By decoding geometric elements such as bounding boxes and points as atomic units in a single step, LocateAnything preserves intra-box geometric coherence and unlocks substantial parallelism. We show that PBD improves both decoding throughput and localization accuracy. We further develop a scalable data engine and curate LocateAnything-Data, a large-scale dataset with more than 138 million training samples, substantially increasing data diversity for high-precision localization. Extensive evaluations show that LocateAnything advances the speed-accuracy frontier, achieving significantly higher decoding throughput while improving high-IoU localization quality across diverse benchmarks. The results highlight the complementary benefits of Parallel Box Decoding and large-scale training data in enabling efficient and precise unified visual grounding and detection.