구름에서 환상으로: 원격 감지 비전-언어 RAG 시스템에서의 대기 정보 조작 공격

From Clouds to Hallucinations: Atmospheric Retrieval Hijacking in Remote Sensing Vision-Language RAG

다중 모드 RAG 시스템은 시각적 쿼리를 외부 텍스트 증거와 연결하기 위해 점점 더 많이 비전-언어 검색 모델에 의존하고 있습니다. 기존의 RAG 시스템 공격 연구는 주로 검색 코퍼스 또는 메모리를 조작하는 데 초점을 맞추고 있으며, 비전-언어 및 원격 감지 모델에 대한 공격은 일반적으로 최종 작업 예측을 대상으로 합니다. 원격 감지 다중 모드 RAG 시스템의 증거 검색 단계에 대한 입력 공간 위협은 아직 충분히 연구되지 않았습니다. 이러한 간극을 해소하기 위해, 우리는 입력 이미지만을 수정하고 검색 모델, 생성 모델 및 지식 베이스는 그대로 유지하는 대기 정보 조작 공격인 CloudWeb을 소개합니다. CloudWeb은 원격 감지 이미지에 매개변수화된 구름 및 안개와 유사한 패턴을 겹쳐서 적용하고, 검색 지향적인 목표를 통해 적대적인 이미지 임베딩을 목표 대기 관련 증거 쪽으로 이동시키고, 원본 장면 증거를 억제하며, 순위 분리를 강제하고, 자연스러움과 범위를 규제합니다. 우리가 알고 있는 한, 이것은 원격 감지 다중 모드 RAG 시스템의 검색 단계에서 대기 관련 증거를 조작하는 첫 번째 연구입니다. 우리는 GeoRSCLIP, RemoteCLIP, OpenAI CLIP, OpenCLIP을 포함한 다섯 가지 CLIP 스타일 검색 모델과 다운스트림 비전-언어 생성 모델을 사용하는 일곱 개의 원격 감지 RAG 벤치마크에서 CloudWeb을 평가했습니다. 모든 검색 모델에서 CloudWeb은 깨끗한 검색, 수동으로 제작된 대기 기준, 임의의 구름 변형 및 고정된 변형보다 일관되게 높은 성능을 보이며, 날씨 관련 증거를 상위 결과에 주입하는 데 효과적입니다. GeoRSCLIP ViT-B/32 모델에서 Weather@5 지표는 0.71%에서 43.29%로 증가했습니다. 다운스트림 생성 결과는 측정 가능한 날씨 환각 및 의미 변화를 보여주며, 이는 검색 단계에서의 조작이 최종 RAG 응답으로 전파될 수 있음을 나타냅니다. 이러한 결과는 자연스러운 대기 변화가 생성 과정이 시작되기 전에 증거 검색을 손상시킬 수 있는 실질적인 문제점을 드러냅니다.

Multimodal RAG systems increasingly rely on vision-language retrievers to ground visual queries in external textual evidence. Existing adversarial studies on RAG mainly manipulate the retrieval corpus or memory, while attacks on vision-language and remote sensing models typically target end-task predictions. Input-space threats to the evidence retrieval stage of remote sensing multimodal RAG remain underexplored. To address this gap, we introduce CloudWeb, an atmospheric retrieval hijacking attack that modifies only the input image while keeping the retriever, generator, and knowledge base fixed at deployment. CloudWeb overlays parameterized cloud- and haze-like patterns on remote sensing images and optimizes them with a retrieval-oriented objective that pulls adversarial image embeddings toward target atmospheric evidence, suppresses source-scene evidence, enforces rank separation, and regularizes naturalness and coverage. To the best of our knowledge, this is the first study of retrieval-stage atmospheric evidence hijacking in remote sensing multimodal RAG. We evaluate CloudWeb on a seven-dataset remote sensing RAG benchmark with five CLIP-style retrievers, including GeoRSCLIP, RemoteCLIP, OpenAI CLIP, and OpenCLIP, together with downstream vision-language generators. Across retrievers, CloudWeb consistently outperforms clean retrieval, handcrafted atmospheric baselines, random cloud perturbations, and fixed variants in injecting weather-related evidence into top-ranked results. On GeoRSCLIP ViT-B/32, Weather@5 increases from 0.71\% to 43.29\%. Downstream generation further shows measurable weather hallucination and semantic shift, indicating that retrieval-stage hijacking can propagate to the final RAG response. These findings reveal a practical failure mode: natural-looking atmospheric changes can compromise evidence retrieval before generation begins.