표현 조작을 통한 비전-언어 모델 공급망의 아키텍처 백도어

Architectural Backdoors in Vision-Language Model Supply Chains via Representation Steering

비전-언어 모델(VLM)은 점점 더 많은 경우, 사전 학습된 체크포인트, 아키텍처 정의, 텍스트 인코더 및 내보낸 계산 그래프와 같은 요소들이 제3자에게 배포되고 다양한 서비스에서 재사용되는 모델 공급망을 통해 활용됩니다. 이러한 재사용 방식은 보안적으로 중요한 신뢰 경계를 생성합니다. VLM 배포는 학습된 파라미터뿐만 아니라 공유 모델 아티팩트에 내재된 실행 가능한 동작까지 상속받기 때문입니다. 본 논문에서는 악의적인 제공자가 표현 조작을 통해 VLM 공급망에 아키텍처 백도어를 삽입하여 이러한 신뢰 경계를 악용할 수 있음을 보여줍니다. 우리의 공격은 학습 데이터를 오염시키거나, 다운스트림 파인튜닝을 제어하거나, 배포 시 프롬프트를 수정하지 않고, 중간 표현의 트리거 기반 가산적 수정 방식을 통해 모델 아키텍처에 잠재적인 조작 로직을 삽입합니다. 트리거가 없을 때는 수정 사항이 0으로 줄어들고 모델은 정상적인 계산을 수행하며, 깨끗한 성능을 유지합니다. 반면, 트리거가 존재할 때, 특정 방향으로 내부 표현을 이동시켜 공격자가 정의한 목표에 맞게 결과를 조작합니다. 우리는 다양한 VLM 계열과 시각 질의 응답, 텍스트-이미지 생성, 검색 및 의미론적 응답 편향 등 다양한 다운스트림 작업에서 이 공격을 평가했습니다. 결과는 제안된 아키텍처 기반의 백도어가 무결성, 안전성 보장 및 순위 공정성을 저해하면서 동시에 깨끗한 입력에 대한 정상적인 동작을 유지한다는 것을 보여줍니다. 또한, 공유되는 VLM 아티팩트가 다운스트림 서비스에 잠재적인 조작 로직을 포함할 수 있음을 확인했으며, 모델의 학습된 가중치뿐만 아니라 배포되는 실행 가능한 로직 자체를 검사하는 감사 방어 메커니즘을 제안합니다.

Vision--Language Models (VLMs) are increasingly deployed through a model supply chain in which pretrained checkpoints, architecture definitions, text encoders, and exported computation graphs are distributed by third parties and reused across downstream services. This reuse model creates a security-critical trust boundary: VLM deployments inherit not only learned parameters but also executable behavior encoded in shared model artifacts. In this paper, we show that a malicious provider can exploit this trust boundary by embedding architectural backdoors into VLM supply chains through representation steering. Our attack introduces dormant steering logic into the model architecture through a trigger-gated additive modification of an intermediate representation, without poisoning training data, controlling downstream fine-tuning, or modifying prompts at deployment time. When the trigger is absent, the modification reduces to zero and the model follows its normal computation, preserving clean utility. When the trigger is present, a steering direction shifts the internal representation toward an attacker-defined objective. We evaluate the attack across multiple VLM families and downstream tasks, including visual question answering, text-to-image generation, retrieval, and semantic response biasing. The results show that the proposed architectural steering backdoor compromises integrity, safety enforcement, and ranking fairness while preserving normal behavior on clean inputs. We further show that shared VLM artifacts can carry dormant steering logic against downstream services, and we propose an auditing defense that inspects the executable logic distributed with model artifacts rather than only their learned weights.