확률적 양자화와 소프트 프롬프트를 통한 차등 프라이버시 보장 및 통신 효율적인 대규모 언어 모델 분할 추론

Differentially Private and Communication Efficient Large Language Model Split Inference via Stochastic Quantization and Soft Prompt

대규모 언어 모델(LLM)은 놀라운 성능을 달성하며 상당한 연구 관심을 받고 있다. 그러나 막대한 연산 요구량은 제한된 리소스를 가진 기기에서의 로컬 배포를 방해한다. 현재 널리 사용되는 LLM 추론 패러다임은 사용자가 처리를 위해 서비스 제공자에게 쿼리를 전송해야 하므로 심각한 프라이버시 문제를 야기한다. 기존 접근법들은 사용자가 전송 전에 토큰 임베딩을 난독화하고 노이즈 제거를 위해 로컬 모델을 활용하도록 제안한다. 그럼에도 불구하고, 토큰 임베딩을 전송하고 로컬 모델을 배포하는 것은 과도한 통신 및 연산 오버헤드를 초래하여 실질적인 구현을 어렵게 만들 수 있다. 본 연구에서는 차등 프라이버시를 보장하고 통신 효율적인 LLM 분할 추론을 위한 프레임워크인 \textbf{DEL}을 제안한다. 구체적으로, 프라이버시를 보호하는 방식으로 통신 오버헤드를 줄이기 위해 임베딩 투영 모듈과 차등 프라이버시 보장 확률적 양자화 메커니즘을 제안한다. 로컬 모델의 필요성을 없애기 위해, 우리는 프라이버시 보호로 인해 발생하는 효용성 저하를 보완하고자 서버 측에 소프트 프롬프트를 적용한다. 우리가 아는 한, 본 연구는 LLM 추론에서 프라이버시와 효용성 간의 상충 관계를 개선하기 위해 소프트 프롬프트를 활용한 최초의 연구이며, 텍스트 생성 및 자연어 이해 벤치마크에 대한 광범위한 실험을 통해 제안된 방법의 효과를 입증한다.

Large Language Models (LLMs) have achieved remarkable performance and received significant research interest. The enormous computational demands, however, hinder the local deployment on devices with limited resources. The current prevalent LLM inference paradigms require users to send queries to the service providers for processing, which raises critical privacy concerns. Existing approaches propose to allow the users to obfuscate the token embeddings before transmission and utilize local models for denoising. Nonetheless, transmitting the token embeddings and deploying local models may result in excessive communication and computation overhead, preventing practical implementation. In this work, we propose \textbf{DEL}, a framework for \textbf{D}ifferentially private and communication \textbf{E}fficient \textbf{L}LM split inference. More specifically, an embedding projection module and a differentially private stochastic quantization mechanism are proposed to reduce the communication overhead in a privacy-preserving manner. To eliminate the need for local models, we adapt soft prompt at the server side to compensate for the utility degradation caused by privacy. To the best of our knowledge, this is the first work that utilizes soft prompt to improve the trade-off between privacy and utility in LLM inference, and extensive experiments on text generation and natural language understanding benchmarks demonstrate the effectiveness of the proposed method.