SparSEEty: 희소성 활용 LLM 시스템에서의 토큰 추출 공격 - 결정적 부가 채널을 이용한 방법

SparSEEty: Extracting Tokens from Sparsity-Exploiting LLM Serving Systems via Deterministic Side Channels

최신 대규모 언어 모델(LLM)은 특정 입력 토큰에 대해 일부 뉴런만 활성화되는 활성 희소성을 나타냅니다. 연구자들은 이 특성을 활용하여 비활성 뉴런과 관련된 가중치 접근 및 계산을 생략함으로써 LLM 서비스 시스템을 최적화했습니다. 그러나 이러한 최적화는 입력 의존적인 가중치 접근을 유발하며, 이는 부가 채널을 통해 유출될 수 있습니다. 본 논문에서는 희소성을 활용하는 LLM 서비스 시스템에서 발생하는 입력 의존적인 뉴런 가중치 접근을 악용하는 새로운 토큰 추출 공격인 SparSEEty를 제안합니다. SparSEEty는 먼저 LLM 추론 과정 동안 뉴런 가중치 접근 부가 채널을 사용하여 뉴런 활성화 오라클을 구축하고, 이를 통해 활성화 기록을 역전하여 입력 토큰을 재구성하는 엔드투엔드 토큰 추출 공격을 수행합니다. 우리는 Intel TDX 보안 가상 머신(CVM) 내부에 보호된 LLM 서비스 시스템에 대해 SparSEEty를 구현했으며, 다음과 같은 세 가지 주요 과제를 해결했습니다. (i) CVM에서 노출되는 다양한 부가 채널의 조합을 사용하여 뉴런 활성화 오라클 구축, (ii) 은밀성을 위해 뉴런 활성 모니터링으로 인한 추론 시간 오버헤드 감소, (iii) 부분적인 이진 활성화 기록을 정확하게 토큰으로 역전환. 실험 결과, SparSEEty는 다양한 모델과 데이터셋에서 프롬프트 및 응답 토큰을 일관되게 높은 BLEU 점수(>0.95)로 재구성할 수 있으며, 모니터링 오버헤드는 3.7%에서 7.2% 사이입니다.

Modern large language models (LLMs) exhibit activation sparsity, wherein only a subset of their neurons is activated for given input tokens. Researchers have leveraged this property to optimize LLM serving systems by omitting weight accesses and computations pertaining to inactive neurons. Unfortunately, however, such optimizations create input-dependent weight accesses, which can be leaked over side channels. We present SparSEEty, a new token extraction attack that exploits input-dependent neuron weight accesses introduced by sparsity-exploiting LLM serving systems. SparSEEty first constructs a neuron-activation oracle using neuron weight access side channels during LLM inference, and then inverts the activation traces to reconstruct the input tokens, forming an end-to-end token extraction attack. We instantiate SparSEEty against an LLM serving system protected inside an Intel TDX confidential virtual machine (CVM), addressing three key challenges: (i) constructing a neuron-activation oracle using a combination of side channels exposed by CVMs, (ii) reducing inference-time overheads of neuron activation monitoring for covertness, and (iii) accurately inverting partial binary activation traces back to tokens. Our evaluation shows that SparSEEty can reconstruct both prompt and response tokens with consistently high BLEU scores (>0.95) across various models and datasets, while incurring monitoring overheads of 3.7% to 7.2%.