증류를 통한 탐지: 카트리지 증류를 통해 LLM에 숨겨진 편향을 드러내기

Distill to Detect: Exposing Stealth Biases in LLMs through Cartridge Distillation

중요한 역할을 수행하는 언어 모델은 특정 개체, 브랜드 또는 관점에 선호적인 경향을 보일 수 있으며, 이는 대규모로 사용자 의사 결정에 영향을 미칠 수 있습니다. 이러한 편향은 모델 공급망의 모든 단계에서 발생할 수 있으며, 특히 모델이 관련 주제에 대해서만 선호도를 드러내고 다른 입력에서는 수정되지 않은 기본 모델과 동일하게 작동하는 경우 가장 위험합니다. 최근 연구에 따르면 이러한 편향은 의미적으로 관련 없는 데이터에 대한 컨텍스트 증류를 통해 전달될 수 있으며, 이 신호는 소프트 로짓 분포에 완전히 내재되어 텍스트 기반 검사를 통해서는 감지할 수 없습니다. 그러나 방어측은 근본적인 비대칭성에 직면합니다. 편향 주제를 알지 못하는 경우, 생성된 텍스트, 내부 표현 또는 모델 가중치를 조사하더라도 은밀한 선호적 편향을 안정적으로 식별하는 방법은 존재하지 않습니다. 본 연구에서는 Distill to Detect (D2D)라는 방법을 제안합니다. D2D는 의심스러운 모델과 기본 모델 간의 분포 변화를 '카트리지'(KV-캐시 접두사 어댑터)로 증류하여 주요 차이를 집중시키고 생성된 텍스트에 편향 신호를 증폭시키는 방법입니다. 우리는 D2D가 여러 유형의 은밀한 편향을 성공적으로 증폭시켜 안정적으로 탐지할 수 있음을 보여줍니다. 또한, 로짓 분포 변화의 Fisher 가중 투영 관점에서 D2D의 효과를 설명하는 이론적 프레임워크를 제시하며, 이는 실증적인 관찰로 뒷받침됩니다. 접두어 튜닝 어댑터의 용량 병목 현상을 탐지 도구로 활용함으로써, D2D는 배포된 언어 모델에서 숨겨진 동작을 감사하기 위한 실용적인 구성 요소 역할을 합니다.

Language models deployed in high-stakes roles can potentially favor certain entities, brands, or viewpoints, steering user decisions at scale. Such preferential biases can be introduced by any actor in the model's supply chain and are most dangerous when the model reveals its preference only on the relevant topic while behaving identically to its unmodified base on all other inputs. Recent work has shown that these biases can transfer through context distillation on semantically unrelated data, with the signal residing entirely in the soft logit distribution and remaining invisible to text-based inspection. However, the defender faces a fundamental asymmetry: without knowing the bias topic, no detection method can reliably surface a stealth preferential bias, regardless of whether it examines generated text, internal representations, or model weights. Here we introduce Distill to Detect (D2D), a method that surfaces hidden biases by distilling the distributional shift between a suspected model and its base into a cartridge (a KV-cache prefix adapter), concentrating the dominant divergence and amplifying the bias signal into generated text. We show that D2D successfully amplifies the hidden biases of stealth models to the extent that they can be reliably detected across multiple bias types. We also propose a theoretical framework that explains the efficacy of D2D through the lens of Fisher-weighted projection of the logit distribution shift, supported by empirical observations. By turning the capacity bottleneck of prefix-tuning adapters into a detection tool, D2D provides a practical building block for auditing hidden behaviors in deployed language models.