MLLM 시대에 주목할 만한 객체 탐지 연구의 부활 가능성

Is It Time for the Renaissance of Salient Object Detection in the Era of MLLMs?

멀티모달 대규모 언어 모델(MLLM)의 제로샷 능력은 주목할 만한 객체 탐지(SOD)를 특정 작업에 대한 지도 학습을 넘어 발전시키고 있습니다. 본 논문에서는 기존 마스크 기반 평가 방식을 벗어나 MLLM의 성능을 정확하게 평가하기 위해 SOD를 위치 파악 및 분할 문제로 나누고, 문구, 박스, 속성 등의 정보를 활용하여 데이터셋을 재구성했습니다. 이를 통해 MLLM의 주목 객체 인식 능력을 진단하는 새로운 벤치마크인 SaliLLM을 제시합니다. SaliLLM 분석 결과, MLLM은 위치 파악에서는 최첨단(SOTA) 방법보다 우수한 성능을 보이지만, 분할 능력은 여전히 현저히 낮은 것으로 나타났습니다. 이러한 성능 차이는 주로 전경 객체의 개수, 세밀함, 범위 측면에서 MLLM과 어노테이션 간의 불일치 때문으로 분석됩니다. 이러한 분석 결과를 바탕으로, 본 논문에서는 제로샷 SOD를 프로토콜에 따른 전경 구성 문제로 재정의하고, 훈련 과정 없이 게슈탈트 원리를 기반으로 하는 협력적 주의 메커니즘을 활용하는 Unified SOD 프레임워크인 FOCUS를 처음으로 제시합니다. FOCUS는 프로토콜 조건에 따른 전경 세밀함의 베이지안-놀람 보정을 통해 얻은 정보를, 자기 지도 학습 특징으로부터 유도된 객체 중심의 인지 공간을 따라 하향식으로 전달하여 일관성 있는 객체 경계를 생성하고, 이를 일반적인 분할 모델에 대한 프롬프트로 활용합니다. 13개의 RGB, RGB-D, 그리고 RGB-T SOD 벤치마크에서 실험한 결과, FOCUS는 훈련 없이 SOTA 방법보다 일반적으로 더 우수한 성능을 보이며, 완전 지도 학습, 약지도 학습 및 자기 지도 학습 방법에 비해 평균 절대 오차를 각각 11%, 34% 및 48% 줄였습니다. 이러한 연구 결과는 SOD 연구의 새로운 가능성을 제시하며, 특정 작업에 대한 지도 학습에서 제로샷 전경 구성으로 나아갈 수 있음을 보여줍니다. 관련 코드는 추가 자료에서 확인할 수 있습니다.

The zero-shot capabilities of multimodal large language models (MLLMs) are pushing salient object detection (SOD) beyond task-specific supervision. To disentangle MLLMs beyond conventional mask-based evaluation, we decompose SOD into localization and segmentation, and re-engineer datasets with phrases, boxes, and attributes, establishing a diagnostic benchmark for MLLM saliency perception (SaliLLM). SaliLLM uncovers a striking capability mismatch: MLLMs outperform state-of-the-art (SOTA) methods in localization, yet remain substantially weaker in segmentation. Further analyses attribute this gap primarily to mismatches between MLLMs and annotations over foreground cardinality, granularity, and extent. Motivated by this diagnosis, we recast zero-shot SOD as protocol-aligned Foreground Organization and introduce the first training-free framework that leverages Gestalt-inspired Collaborative attention for Unified SOD (FOCUS). FOCUS couples top-down Bayesian-surprise calibration of protocol-conditioned foreground granularity with bottom-up propagation of MLLMs evidence over entity-centric perceptual manifolds induced by self-supervised features, yielding coherent object extents as prompts for a general segmenter. Across 13 RGB, RGB-D, and RGB-T SOD benchmarks, FOCUS generally surpasses SOTA methods without training, reducing mean absolute error by 11\%, 34\%, and 48\% compared with fully, weakly, and self-supervised methods, respectively. Our findings signal the renaissance of SOD: from task-specific supervision to zero-shot foreground organization. Code is available in the supplementary material.