GIF: LLM을 위한 로컬 기하 정보 흐름 제어를 통한 보안 강화

GIF: Locally Sound Geometric Information Flow Control for LLMs

대규모 언어 모델(LLM)은 에이전트 시스템에서 민감한 데이터, 신뢰할 수 없는 입력, 특권적인 작업 간의 상호 작용을 중재하며, 이는 보안 및 개인 정보 보호 위험을 야기합니다. 이러한 위험에는 다운스트림 도구 사용을 조작하는 프롬프트 주입부터 모델 출력물을 통해 기밀 정보를 유출하는 경우가 포함됩니다. 최근 정보 흐름 제어(IFC) 기반 방어 기술은 가능성을 보여주지만, 모델 자체를 통한 정보 흐름에 대한 추론을 위한 체계적인 의미론적 기반이 부족합니다. 자기 회귀 LLM에서 모든 입력 토큰이 모든 출력 토큰에 영향을 미칠 수 있기 때문에, 기존 접근 방식은 심각한 '오염 폭발(taint explosion)' 문제를 겪습니다. 본 논문에서는 입력 토큰에서 출력으로의 정보 흐름을 추적하기 위한 의미론적 프레임워크인 기하 정보 흐름(GIF)을 제시합니다. GIF는 LLM의 야코비안과 로컬 출력 형상 정보를 활용하여, 변환된 입력 구간과 모델 출력 간의 섀넌 상호 정보량을 상한선으로 제한하며, 자동 미분 및 저랭크 근사 방식을 통해 대규모 모델에서도 확장 가능하고 계산 가능한 측정 지표를 제공합니다. 어텐션 기반 또는 상관관계 기반 설명 방식과는 달리, GIF는 로컬 기하학적 타당성을 만족하며, 특정 조건 하에서 주어진 프롬프트에 의해 유도되는 실제 정보 흐름을 상한선으로 제한한다는 것을 Lean 4로 완전히 자동화된 증명을 통해 입증합니다. 본 논문에서는 다양한 프롬프트 주입 및 개인 정보 유출 벤치마크를 사용하여 GIF의 무결성 및 기밀성 성능을 평가했습니다. GIF는 다운스트림 분류기 없이도 거의 완벽한 재현율을 달성하며, 어텐션 기반 기준 모델보다 우수한 성능을 보입니다. 가벼운 LLM 기반 분류기와 결합하여, GPT-5.5 xhigh와 같은 직접적인 LLM 평가 모델의 F1 점수를 능가하거나 동등한 수준으로 달성하면서 토큰 사용량은 최대 81배까지 절감합니다. 작은 대리 모델(surrogate model)을 사용하여 탐지된 정보 흐름 패턴은 더 크고 최첨단 모델 및 다른 모델 아키텍처로 전이될 수 있으며, 심지어 대리 모델이 원래 모델보다 최대 200배 작더라도 가능하며, 이는 기울기 접근 없이 블랙박스 방식으로 배포할 수 있음을 시사합니다.

Large language models increasingly mediate interactions between sensitive data, untrusted inputs, and privileged actions in agentic systems, creating security and privacy risks. These range from prompt injections that manipulate downstream tool use to leakage of confidential information through model outputs. Recent Information Flow Control (IFC)-based defenses show promise but lack a principled semantic foundation for reasoning about information flow through the model itself. Since any input token may influence any output token in an autoregressive LLM, existing approaches suffer from severe taint explosion. We present Geometric Information Flow (GIF), a semantic framework for tracking information flow from input tokens to outputs. GIF uses the LLM Jacobian and local output geometry to upper-bound the Shannon mutual information between perturbed input spans and model outputs, yielding a scalable measure computable on large models via automatic differentiation and low-rank approximation. Unlike attention-based or correlational attribution heuristics, GIF satisfies local geometric soundness, and we provide a fully mechanized Lean 4 proof that it upper-bounds the true information flow induced by a given prompt under local regularity assumptions. We evaluate GIF on integrity and confidentiality tasks across multiple prompt-injection and privacy-leakage benchmarks. GIF achieves near-perfect recall even without a downstream declassifier, outperforming attention-based baselines. Combined with lightweight LLM-based declassifiers, it matches or exceeds the F1 of direct LLM-as-judge baselines such as GPT-5.5 xhigh reasoning while using up to 81x lower token cost. GIF flows detected with small surrogate models transfer to larger state-of-the-art models and other model families, even when the surrogate is up to 200x smaller, suggesting black-box deployment without gradient access.