Hyp2Former: 계층 구조 인지 하이퍼볼릭 임베딩을 이용한 오픈셋 패노프틱 분할

Hyp2Former: Hierarchy-Aware Hyperbolic Embeddings for Open-Set Panoptic Segmentation

알 수 없는 객체를 인식하는 것은 자율 주행 및 로봇 공학과 같은 안전이 중요한 응용 분야에서 매우 중요합니다. 오픈셋 패노프틱 분할(OPS)은 알려진 객체 및 배경 클래스를 분할하는 동시에, 유효한 알 수 없는 객체를 별개의 인스턴스로 식별하는 것을 목표로 합니다. 기존의 OPS 방법은 대부분 알려진 범주를 평면적인 레이블 집합으로 취급하며, 알 수 없는 객체를 알려진 범주와 구별하는 데 유용한 구조적 정보를 제공하는 의미적 계층 구조를 무시합니다. 본 연구에서는 훈련 과정에서 명시적인 알 수 없는 객체 모델링이 필요하지 않고, 대신 하이퍼볼릭 공간에서 지속적으로 계층적인 의미적 유사성을 학습하는 OPS를 위한 엔드투엔드 프레임워크인 Hyp2Former를 제안합니다. 알려진 범주 간의 계층적 관계를 명시적으로 인코딩함으로써, 모델은 여러 수준의 의미적 추상화를 포착하는 구조화된 임베딩 공간을 학습합니다. 결과적으로, 알려진 범주로 자신 있게 분류할 수 없는 알 수 없는 객체는 여전히 상위 수준의 개념(예: 알려지지 않은 동물은 "동물" 또는 "객체"와 더 가깝고, "전자 제품" 또는 "배경"과 같은 관련 없는 개념과는 더 멀다)에 가깝게 유지되므로, 미세한 범주가 훈련 중에 표현되지 않았더라도 안정적으로 감지될 수 있습니다. MS COCO, Cityscapes, Lost&Found와 같은 여러 공개 데이터 세트를 사용한 실험 결과, Hyp2Former는 OPS에서 기존 방법보다 뛰어난 성능을 보이며, 알 수 없는 객체 탐지와 알려진 범주에 대한 안정성 간의 최적의 균형을 달성합니다.

Recognizing unknown objects is crucial for safety-critical applications such as autonomous driving and robotics. Open-Set Panoptic Segmentation (OPS) aims to segment known thing and stuff classes while identifying valid unknown objects as separate instances. Prior OPS approaches largely treat known categories as a flat label set, ignoring the semantic hierarchy that provides valuable structural priors for distinguishing unknown objects from in-distribution classes. In this work, we propose Hyp2Former, an end-to-end framework for OPS that does not require explicit modeling of unknowns during training, and instead learns hierarchical semantic similarities continuously in hyperbolic space. By explicitly encoding hierarchical relationships among known categories, the model learns a structured embedding space that captures multiple levels of semantic abstraction. As a result, unknown objects that cannot be confidently classified as known categories still remain in close proximity to higher-level concepts (e.g., an unknown animal remains closer to "animal" or "object" than to unrelated concepts such as "electronics" or "stuff") and can therefore be reliably detected, even if their fine-grained category was not represented during training. Empirical evaluations across multiple public datasets such as MS COCO, Cityscapes, and Lost&Found demonstrate that Hyp2Former outperforms existing methods on OPS, achieving the best balance between unknown object discovery and in-distribution robustness.