관찰자 중심 관점에서 재검토하는 주목 대상 객체 탐지

Revisiting Salient Object Detection from an Observer-Centric Perspective

주목 대상 객체 탐지는 본질적으로 주관적인 문제이며, 서로 다른 사전 지식을 가진 관찰자는 서로 다른 객체를 주목 대상으로 인식할 수 있습니다. 그러나 기존 방법들은 대부분 이를 객관적인 예측 문제로 간주하며, 각 이미지에 대해 단일한 정답 분할 맵을 사용하여 문제를 정의합니다. 이는 문제의 불확실성을 증가시키고 근본적으로 부적절한 문제를 야기합니다. 이러한 문제를 해결하기 위해, 우리는 관찰자 중심의 주목 대상 객체 탐지(Observer-Centric Salient Object Detection, OC-SOD)를 제안합니다. OC-SOD는 시각적 단서뿐만 아니라 관찰자의 선호도나 의도와 같은 관찰자별 요인을 고려하여 주목 영역을 예측합니다. 결과적으로, 이러한 접근 방식은 인간 인지의 내재된 모호성과 다양성을 포착하여 개인화되고 상황에 맞는 주목 예측을 가능하게 합니다. 다중 모드 대규모 언어 모델을 활용하여 효율적인 데이터 주석 파이프라인을 개발하고, 33,000개의 훈련, 검증 및 테스트 이미지와 152,000개의 텍스트 프롬프트 및 객체 쌍으로 구성된 첫 번째 OC-SOD 데이터셋인 OC-SODBench를 구축했습니다. 이 새로운 데이터셋을 기반으로, 우리는 OC-SOD 문제를 인간과 유사한 "인지-반성-조정" 과정을 통해 해결하는 OC-SODAgent라는 에이전트 기반의 기본 모델을 설계했습니다. 제안하는 OC-SODBench에 대한 광범위한 실험은 우리의 기여가 효과적임을 입증했습니다. 우리는 관찰자 중심의 관점을 통해 인간 인지와 계산 모델링 간의 간극을 좁히고, 객체가 진정으로 "주목"을 받는 이유에 대한 보다 현실적이고 유연한 이해를 제공하고자 합니다. 코드와 데이터셋은 다음 주소에서 공개적으로 이용 가능합니다: https://github.com/Dustzx/OC_SOD

Salient object detection is inherently a subjective problem, as observers with different priors may perceive different objects as salient. However, existing methods predominantly formulate it as an objective prediction task with a single groundtruth segmentation map for each image, which renders the problem under-determined and fundamentally ill-posed. To address this issue, we propose Observer-Centric Salient Object Detection (OC-SOD), where salient regions are predicted by considering not only the visual cues but also the observer-specific factors such as their preferences or intents. As a result, this formulation captures the intrinsic ambiguity and diversity of human perception, enabling personalized and context-aware saliency prediction. By leveraging multi-modal large language models, we develop an efficient data annotation pipeline and construct the first OC-SOD dataset named OC-SODBench, comprising 33k training, validation and test images with 152k textual prompts and object pairs. Built upon this new dataset, we further design OC-SODAgent, an agentic baseline which performs OC-SOD via a human-like "Perceive-Reflect-Adjust" process. Extensive experiments on our proposed OC-SODBench have justified the effectiveness of our contribution. Through this observer-centric perspective, we aim to bridge the gap between human perception and computational modeling, offering a more realistic and flexible understanding of what makes an object truly "salient." Code and dataset are publicly available at: https://github.com/Dustzx/OC_SOD