IMMACULATE: 검증 가능한 연산을 통한 실용적인 LLM 감사 프레임워크

IMMACULATE: A Practical LLM Auditing Framework via Verifiable Computation

상용 대규모 언어 모델은 일반적으로 블랙박스 API 서비스로 배포되며, 사용자는 모델 제공업체가 정확한 추론을 수행하고 토큰 사용량을 정직하게 보고할 것이라는 신뢰를 가져야 합니다. 본 논문에서는 IMMACULATE라는 실용적인 감사 프레임워크를 제시합니다. IMMACULATE는 신뢰할 수 있는 하드웨어나 모델 내부 정보에 대한 접근 권한 없이도, 모델 대체, 양자화 남용, 토큰 과다 청구와 같은 경제적 동기를 가진 변칙 행위를 탐지합니다. IMMACULATE는 검증 가능한 연산을 사용하여 요청의 일부만 선택적으로 감사하며, 강력한 탐지 보장을 달성하는 동시에 암호화 오버헤드를 최소화합니다. 고밀도 모델과 MoE 모델에 대한 실험 결과, IMMACULATE는 벤포진(정상) 및 악의적인 실행을 1% 미만의 처리량 오버헤드로 안정적으로 구별할 수 있음을 보여줍니다. 저희의 코드는 다음 링크에서 확인할 수 있습니다: https://github.com/guo-yanpei/Immaculate.

Commercial large language models are typically deployed as black-box API services, requiring users to trust providers to execute inference correctly and report token usage honestly. We present IMMACULATE, a practical auditing framework that detects economically motivated deviations-such as model substitution, quantization abuse, and token overbilling-without trusted hardware or access to model internals. IMMACULATE selectively audits a small fraction of requests using verifiable computation, achieving strong detection guarantees while amortizing cryptographic overhead. Experiments on dense and MoE models show that IMMACULATE reliably distinguishes benign and malicious executions with under 1% throughput overhead. Our code is published at https://github.com/guo-yanpei/Immaculate.