CTFS: 극히 제한적인 레이블 데이터 환경에서 전방향 소나 이미지 의미 분할을 위한 협력적 교사 프레임워크

CTFS : Collaborative Teacher Framework for Forward-Looking Sonar Image Semantic Segmentation with Extremely Limited Labels

수중 감지 기술 중 하나인 전방향 소나는 독특한 이미지 특성을 갖습니다. 소나 이미지는 종종 심각한 스페클 노이즈, 낮은 텍스처 대비, 음향 그림자 및 기하학적 왜곡의 영향을 받습니다. 이러한 요인들은 전통적인 교사-학생 프레임워크가 극히 제한적인 레이블 데이터 조건 하에서 소나 의미 분할 작업에서 만족스러운 성능을 달성하기 어렵게 만듭니다. 이러한 문제를 해결하기 위해, 본 연구에서는 전방향 소나 이미지를 위한 협력적 교사 의미 분할 프레임워크를 제안합니다. 이 프레임워크는 하나 이상의 일반 교사와 여러 개의 소나 특화 교사로 구성된 다중 교사 협력 메커니즘을 도입합니다. 다중 교사 교차 학습 전략을 채택함으로써, 학생 모델은 일반적인 의미 표현을 학습하는 동시에 소나 이미지의 고유한 특징을 동시에 파악하여 더욱 포괄적이고 강력한 특징 모델링을 달성합니다. 소나 이미지의 어려움을 고려하여, 교사가 많은 양의 노이즈가 포함된 의사 레이블을 생성할 수 있다는 점을 고려하여, 본 연구에서는 교사 간 신뢰성 평가 메커니즘을 추가적으로 설계했습니다. 이 메커니즘은 여러 관점과 여러 교사를 통해 예측의 일관성과 안정성을 평가하여 의사 레이블의 신뢰성을 동적으로 정량화함으로써, 노이즈가 포함된 의사 레이블로 인해 발생하는 부정적인 영향을 완화합니다. 특히, FLSMD 데이터셋에서, 전체 데이터의 2%만 레이블링되었을 때, 본 연구의 방법은 다른 최첨단 접근 방식과 비교하여 mIoU에서 5.08%의 성능 향상을 달성했습니다.

As one of the most important underwater sensing technologies, forward-looking sonar exhibits unique imaging characteristics. Sonar images are often affected by severe speckle noise, low texture contrast, acoustic shadows, and geometric distortions. These factors make it difficult for traditional teacher-student frameworks to achieve satisfactory performance in sonar semantic segmentation tasks under extremely limited labeled data conditions. To address this issue, we propose a Collaborative Teacher Semantic Segmentation Framework for forward-looking sonar images. This framework introduces a multi-teacher collaborative mechanism composed of one general teacher and multiple sonar-specific teachers. By adopting a multi-teacher alternating guidance strategy, the student model can learn general semantic representations while simultaneously capturing the unique characteristics of sonar images, thereby achieving more comprehensive and robust feature modeling. Considering the challenges of sonar images, which can lead teachers to generate a large number of noisy pseudo-labels, we further design a cross-teacher reliability assessment mechanism. This mechanism dynamically quantifies the reliability of pseudo-labels by evaluating the consistency and stability of predictions across multiple views and multiple teachers, thereby mitigating the negative impact caused by noisy pseudo-labels. Notably, on the FLSMD dataset, when only 2% of the data is labeled, our method achieves a 5.08% improvement in mIoU compared to other state-of-the-art approaches.