MedSteer: 훈련 없이 활성화 제어를 통한 인과적 내시경 영상 합성

PolypSteer: Counterfactual Endoscopic Synthesis via Training-Free Activation Steering

생성적 확산 모델은 의료 영상 데이터 증강에 점점 더 많이 사용되고 있지만, 텍스트 프롬프팅만으로는 인과적인 훈련 데이터를 생성할 수 없습니다. 재프롬프팅은 전체 생성 과정을 다시 시작하여 해부학적 구조, 질감 및 배경을 변경합니다. 역변환 기반 편집 방법은 재구성 오류를 발생시켜 구조적 변화를 초래합니다. 본 연구에서는 훈련이 필요 없는 활성화 제어 프레임워크인 MedSteer를 제안합니다. MedSteer는 확산 트랜스포머의 크로스-어텐션 레이어에서 각 대비 프롬프트 쌍에 대한 병변 벡터를 식별합니다. 추론 시, MedSteer는 이 벡터를 따라 이미지 활성화를 조작하여, 조작된 개념 외에는 모든 것이 보존된 새로운 인과 관계 쌍을 생성합니다. MedSteer는 Kvasir v3 및 HyperKvasir 데이터셋에 대한 세 가지 실험을 통해 평가되었습니다. 세 가지 임상 개념 쌍에 대한 인과 관계 생성에서, MedSteer는 0.800, 0.925, 0.950의 전환율을 달성하여, 개념 전환율 및 구조 보존 측면에서 가장 우수한 역변환 기반 기준 모델을 능가했습니다. 염료 분리 실험에서, MedSteer는 75%의 염료 제거율을 달성하여, PnP (20%) 및 h-Edit (10%)보다 높은 성능을 보였습니다. 다운스트림 폴립 감지 작업에서, MedSteer로 생성된 인과 관계 쌍을 사용하여 데이터를 증강하면 ViT 모델의 AUC가 0.9755로 향상되어, 동일한 양의 데이터를 재프롬프팅으로 생성했을 때의 0.9083보다 높은 성능을 보였으며, 이는 인과 관계 구조가 성능 향상에 기여한다는 것을 확인해줍니다. 코드: https://github.com/phamtrongthang123/medsteer

Generative diffusion models are increasingly used for medical imaging data augmentation, but text prompting cannot produce causal training data. Re-prompting rerolls the entire generation trajectory, altering anatomy, texture, and background. Inversion-based editing methods introduce reconstruction error that causes structural drift. We propose PolypSteer, a training-free activation-steering framework for endoscopic synthesis. PolypSteer identifies a pathology vector for each contrastive prompt pair in the cross-attention layers of a diffusion transformer. At inference time, it steers image activations along this vector, generating counterfactual pairs from scratch where the only difference is the steered concept. All other structure is preserved by construction. We evaluate PolypSteer across three experiments on Kvasir v3 and HyperKvasir. On counterfactual generation across three clinical concept pairs, PolypSteer achieves flip rates of 0.800, 0.925, and 0.950, outperforming the best inversion-based baseline in both concept flip rate and structural preservation. On dye disentanglement, PolypSteer achieves 75% dye removal against 20% (PnP) and 10% (h-Edit). On downstream polyp detection, augmenting with PolypSteer counterfactual pairs achieves ViT AUC of 0.9755 versus 0.9083 for quantity-matched re-prompting, confirming that counterfactual structure drives the gain. Code is at link https://github.com/UARK-AICV/PolypSteer