방어적 거부 편향: 안전 정렬이 사이버 방어자에게 실패하는 이유

Defensive Refusal Bias: How Safety Alignment Fails Cyber Defenders

대규모 언어 모델(LLM), 특히 사이버 보안 작업에서 안전 정렬은 주로 오용 방지에 초점을 맞춥니다. 이러한 접근 방식은 직접적인 피해를 줄이지만, 정당한 방어자에게 도움을 거부하는 또 다른 실패 방식으로 이어질 수 있습니다. 본 연구에서는 '방어적 거부 편향'을 분석합니다. 이는 안전 기능이 강화된 최첨단 LLM이, 공격적인 사이버 작업과 유사한 문구를 포함하는 경우, 허가된 방어적 사이버 보안 작업에 대한 지원을 거부하는 경향을 의미합니다. 전국 대학 사이버 방어 대회(NCCDC)에서 수집된 2,390개의 실제 사례를 바탕으로, LLM이 보안 관련 키워드를 포함하는 방어 요청을 의미적으로 동등한 중립 요청보다 $2.72$배 더 높은 비율로 거부한다는 것을 확인했습니다($p < 0.001$). 거부율이 가장 높은 작업은 운영적으로 매우 중요한 작업인 시스템 강화(43.8%) 및 악성코드 분석(34.3%)입니다. 흥미롭게도, 사용자가 모델에게 해당 작업을 수행할 권한이 있음을 명시적으로 지시하는 경우, 거부율이 증가합니다. 이는 모델이 정당화 설명을 적대적인 것으로 해석하고, 면책으로 해석하지 않음을 시사합니다. 이러한 결과는 실시간 사용에 시급하며, 거부된 쿼리를 재구성하거나 재시도할 수 없는 자율 방어 에이전트에게는 매우 중요합니다. 본 연구 결과는 현재 LLM 사이버 보안 정렬이 유해 콘텐츠와의 의미적 유사성을 기반으로 하며, 의도나 권한에 대한 추론을 수행하지 않는다는 것을 보여줍니다. 우리는 유해한 활동을 방지하면서 방어 능력을 극대화하기 위해 의도를 분석하는 해결책을 촉구합니다.

Safety alignment in large language models (LLMs), particularly for cybersecurity tasks, primarily focuses on preventing misuse. While this approach reduces direct harm, it obscures a complementary failure mode: denial of assistance to legitimate defenders. We study Defensive Refusal Bias -- the tendency of safety-tuned frontier LLMs to refuse assistance for authorized defensive cybersecurity tasks when those tasks include similar language to an offensive cyber task. Based on 2,390 real-world examples from the National Collegiate Cyber Defense Competition (NCCDC), we find that LLMs refuse defensive requests containing security-sensitive keywords at $2.72\times$ the rate of semantically equivalent neutral requests ($p < 0.001$). The highest refusal rates occur in the most operationally critical tasks: system hardening (43.8%) and malware analysis (34.3%). Interestingly, explicit authorization, where the user directly instructs the model that they have authority to complete the target task, increases refusal rates, suggesting models interpret justifications as adversarial rather than exculpatory. These findings are urgent for interactive use and critical for autonomous defensive agents, which cannot rephrase refused queries or retry. Our findings suggest that current LLM cybersecurity alignment relies on semantic similarity to harmful content rather than reasoning about intent or authorization. We call for mitigations that analyze intent to maximize defensive capabilities while still preventing harmful compliance.