PhysAgent: 신뢰성 있는 원격 심박수 추정을 위한 다중 에이전트 프레임워크

PhysAgent: A Multi-Agent Framework for Reliable Remote Heart Rate Estimation

원격 광혈관파형법(rPPG)은 얼굴 영상으로부터 비접촉 방식으로 심박수를 추정할 수 있지만, 약한 생리적 신호는 움직임, 조명 변화, 가려짐, 피부 상태 변화 및 장비 노이즈에 의해 쉽게 왜곡됩니다. 기존의 rPPG 방법은 일반적으로 단일 모델을 사용하여 직접적으로 심박수를 예측하거나 맥파 형태를 복구하는데, 서로 다른 강력한 추정기는 동일한 영상에 대해 상충되지만 개별적으로는 그럴듯한 후보값을 생성할 수 있습니다. 이러한 충돌을 해결하기 위해, 우리는 추론 시 다중 에이전트 기반의 후보 검증 프레임워크인 PhysAgent를 제안합니다. PhysAgent는 직접 예측 방식과는 달리 새로운 기본 rPPG 모델을 훈련하거나 멀티모달 대규모 언어 모델(MLLM)에 심박수를 직접 출력하도록 요청하지 않습니다. 대신, 여러 기본 추정기의 출력을 생리적 가설로 간주하여 검증하고, 비디오 조건, 신호의 신뢰성 및 후보 값의 불일치에 대한 다중 에이전트 추론을 수행하기 위해 경량화된 4B MLLM인 Qwen3-VL-4B를 사용합니다. 결정적인 생리적 검증기는 통합 제안을 확인하고, 재현 가능한 수치적 통합 과정을 통해 최종 심박수를 생성합니다. 여러 공개 rPPG 벤치마크에 대한 실험 결과는 PhysAgent가 다양한 데이터 세트 및 소스 도메인 설정에서 융합의 안정성과 신뢰성을 향상시키며, 직접 MLLM 예측 또는 제약 없는 앙상블 융합으로 인한 재현 불가능성 및 생리적 일관성 문제를 피할 수 있음을 보여줍니다. 코드 배포는 곧 이루어질 예정입니다.

Remote photoplethysmography (rPPG) enables non-contact heart-rate estimation from facial videos, but its weak physiological signal is easily corrupted by motion, illumination changes, occlusion, skin-appearance variation, and device noise. Existing rPPG methods typically rely on a single model to directly predict heart rate or recover pulse waveforms, while different strong estimators may produce conflicting yet individually plausible candidates for the same video. To resolve these conflicts, we propose PhysAgent, an inference-time multi-agent candidate-verification framework. Unlike direct prediction approaches, PhysAgent neither trains a new base rPPG model nor asks Multimodal Large Language Models (MLLMs) to output heart rate directly. In contrast, it treats outputs from multiple base estimators as physiological hypotheses to be verified and uses a lightweight 4B MLLM, Qwen3-VL-4B, to drive multi-agent reasoning over video conditions, signal reliability, and candidate disagreement. A deterministic physiological verifier checks the fusion proposal, and a reproducible numerical fusion process produces the final heart rate. Experimental results on multiple public rPPG benchmarks show that PhysAgent improves fusion stability and reliability across different datasets and source-domain settings, while avoiding the irreproducibility and physiological inconsistency of direct MLLM prediction or unconstrained ensemble fusion. The code will be released soon.