제로-파이(Zero-Fi): 대조 학습 기반의 음성-언어 정렬을 통한 제로샷 와이파이 인간 활동 인식

Zero-Fi: Zero-Shot Wi-Fi-Based Human Activity Recognition via Contrastive Signal-Language Alignment

와이파이 기반의 인간 활동 인식 기술은 상당한 발전을 이루었지만, 대부분의 기존 방법은 미리 정의된 활동 집합만을 다루며, 각 대상 클래스에 대한 레이블이 지정된 와이파이 데이터를 필요로 하여, 새로운 활동을 인식하는 데 한계가 있습니다. 본 논문에서는 제로샷 와이파이 기반 인간 활동 인식을 위한 대조 학습 기반의 음성-언어 정렬 프레임워크인 Zero-Fi를 제시합니다. Zero-Fi는 상호 보완적인 와이파이 신호 특징으로부터 통일된 표현을 학습하고, 이를 자연어 활동 설명의 의미적 표현과 공유 임베딩 공간에서 정렬합니다. 이러한 다중 모드 정렬을 통해 Zero-Fi는 레이블이 지정되지 않은 와이파이 샘플이나 해당 클래스에 대한 모델 재조정을 필요로 하지 않고도 새로운 활동 클래스를 인식할 수 있습니다. 대규모 공개 벤치마크 데이터 세트에 대한 실험 결과, Zero-Fi는 기존의 활동 클래스 외에 정의되지 않은 활동 클래스에 대해 효과적인 제로샷 인식을 수행하며, 음성-언어 정렬이 와이파이 센싱을 미리 정의된 활동 클래스를 넘어 확장할 수 있는 잠재력을 보여줍니다.

Wi-Fi-based human activity recognition has advanced substantially, but most existing methods assume a closed set of activities and require labeled Wi-Fi samples for every target class, limiting their ability to recognize unseen activities. We present Zero-Fi, a contrastive signal-language alignment framework for zero-shot Wi-Fi-based human activity recognition. Zero-Fi learns unified representations from complementary Wi-Fi signal features and aligns them with the semantic representations of natural-language activity descriptions in a shared embedding space. This cross-modal alignment enables Zero-Fi to recognize new activity classes without requiring labeled Wi-Fi samples or model adaptation for those classes. Experiments on large-scale public benchmark datasets demonstrate effective zero-shot recognition of held-out activity classes, highlighting the potential of signal-language alignment to extend Wi-Fi sensing beyond predefined activity classes.