트랜스포머 안전 추론에서의 셔플링 방어의 (불-)안전성에 대한 연구

On the (In-)Security of the Shuffling Defense in the Transformer Secure Inference

트랜스포머 모델에서 암호학적으로 안전한 추론은 클라이언트가 최종 출력 결과만 학습하고, 서버가 클라이언트의 입력에 대한 정보를 전혀 얻지 못하도록 보장합니다. 그러나 비선형 레이어를 안전하게 계산하는 것은 상당한 통신 라운드와 데이터 전송이 필요하기 때문에 효율성 측면에서 주요 장애물이 됩니다. 이 문제를 해결하기 위해 기존 연구에서는 중간 활성화 값을 클라이언트에 공개하여 비선형 연산을 일반 텍스트로 계산할 수 있도록 합니다. 이 방법은 효율성을 크게 향상시키지만, 활성화 값을 노출함으로써 공격자가 모델 가중치를 추출할 수 있습니다. 이러한 위험을 완화하기 위해 기존 연구에서는 클라이언트에 무작위로 재배열된 활성화 값만 공개하는 셔플링 방어를 사용합니다. 본 연구에서는 셔플링 방어가 기존에 주장되었던 것만큼 강력하지 않음을 보여줍니다. 우리는 서로 다르게 셔플링된 활성화 값을 공통의 순열로 정렬하고, 이어서 이를 활용하여 모델 가중치를 추출하는 공격을 제안합니다. Pythia-70m 및 GPT-2 모델에 대한 실험 결과, 제안된 공격은 평균 제곱 오차가 $10^{-9}$에서 $10^{-6}$ 사이인 범위에서 셔플링된 활성화 값을 정렬할 수 있음을 보여줍니다. 약 1달러의 비용으로 공격자는 오라클 가중치와 비교하여 L1-norm 차이가 $10^{-4}$에서 $10^{-2}$ 사이인 범위의 모델 가중치를 복구할 수 있습니다.

For Transformer models, cryptographically secure inference ensures that the client learns only the final output, while the server learns nothing about the client's input. However, securely computing nonlinear layers remains a major efficiency bottleneck due to the substantial communication rounds and data transmission required. To address this issue, prior works reveal intermediate activations to the client, allowing nonlinear operations to be computed in plaintext. Although this approach significantly improves efficiency, exposing activations enables adversaries to extract model weights. To mitigate this risk, existing works employ a shuffling defense that reveals only randomly permuted activations to the client. In this work, we show that the shuffling defense is not as robust as previously claimed. We propose an attack that aligns differently shuffled activations to a common permutation and subsequently exploits them to extract model weights. Experiments on Pythia-70m and GPT-2 demonstrate that the proposed attack can align shuffled activations with mean squared errors ranging from $10^{-9}$ to $10^{-6}$. With a query cost of approximately \$1, the adversary can recover model weights with L1-norm differences ranging from $10^{-4}$ to $10^{-2}$ compared to the oracle weights.