거부(Refusal)를 넘어서: 취약점 분석을 위한 정렬된 LLM과 거부 기능 제거된 LLM의 동일 계통 연구

Beyond Refusal: A Same-Lineage Study of Aligned and Abliterated LLMs for Vulnerability Analysis

대규모 언어 모델(LLM) 기반 소프트웨어 보안은 어려운 경계에 서 있습니다. 합법적인 코드 검토, 문제 해결 및 수정에 필요한 취약점 분석 용어가 오용과 관련된 용어와 유사할 수 있기 때문입니다. 기존의 안전성 및 사이버 보안 평가는 이러한 상황에서 해석하기 어렵습니다. 왜냐하면 이들은 종종 관련 없는 모델 패밀리를 비교하여 안전 행동을 아키텍처, 규모, 학습 데이터 및 배포 방식의 차이와 혼동하기 때문입니다. 우리는 이러한 요인을 분리하기 위해 동일 계통 내에서 모델의 안전 상태를 연구합니다. 즉, 거부 기능이 그대로 유지된(정렬됨: Aligned) 모델과 거부 기능이 제거된(거부 기능 제거됨: Abliterated) 모델을 비교합니다. 본 연구는 이 안전 상태가 소프트웨어 보안 워크플로우 전반에 걸쳐 방어적 유용성에 미치는 영향을 조사합니다. 우리는 공개적으로 출시된 거부 기능 제거된 모델과 Gemma 및 Qwen이라는 두 가지 모델 패밀리의 정렬된 명령어 튜닝 모델을 비교합니다. 우리는 정렬됨(Aligned) 및 거부 기능 제거됨(Abliterated) 상태를 취약점 탐지, CWE 속성 부여, 취약한 코드 라인 위치 파악, 근본 원인 파악 및 실행 가능한 패치 검증에 대해 평가합니다. 또한 프롬프트의 표현 방식을 제어 변수로 사용했습니다. 즉, 프롬프트는 중립적인 코드 검토 용어로 시작하여 권한 부여 맥락을 추가하고 사이버 보안 용어의 밀도를 다양하게 조절합니다. Gemma 기반 Java/Vul4J 수정 및 검증 연구에서 거부 기능 제거된 모델은 초기 단계 검증률이 더 높았습니다. 구체적으로, 수정 사항이 사용 가능하다고 판단된 비율이 67.8%, 성공적으로 적용된 비율이 65.0%, 그리고 성공적으로 컴파일된 비율이 32.8%인 반면, 정렬된 모델은 각각 29.9%, 24.9%, 9.0%였습니다. Qwen 모델 쌍의 경우, 거부 기능 제거된 모델은 위치 파악 성능을 향상시켰습니다. 라인 단위 F1 점수가 2.08%에서 3.91%로 증가하고, Top-1 정확도가 4.10%에서 6.95%로 상승했습니다. 이러한 결과는 LLM 기반 보안 도우미의 평가가 모델이 응답하는지, 그 응답이 사용 가능한 경우 정확한지를 측정할 뿐만 아니라, 출력 결과가 엔지니어링 워크플로우 전반에 걸쳐 유효하게 활용될 수 있는지를 함께 측정해야 함을 시사합니다.

Large language model (LLM)-assisted software security operates at a difficult boundary: the vulnerability-analysis terminology needed for legitimate code review, triage, and repair can closely resemble terminology associated with misuse. Existing safety and cybersecurity evaluations are difficult to interpret in this setting because they often compare unrelated model families, thereby conflating safety behavior with differences in architecture, scale, training data, and deployment. To isolate this factor, we study safety state: whether refusal behavior remains intact (Aligned) or has been refusal-ablated (Abliterated) within same-lineage models. We ask how this safety state affects defensive utility across software-security workflows. We compare aligned instruction-tuned models with publicly released refusal-ablated descendants from two model families, Gemma and Qwen. We evaluate Aligned and Abliterated states on vulnerability detection, CWE attribution, vulnerable-line localization, root-cause localization, and executable patch validation. We further treat prompt wording as a controlled framing dimension: prompts begin with neutral code-review language, add authorization context, and vary the density of cybersecurity terminology. In a Gemma-based Java/Vul4J repair-validation study, Abliterated achieves higher early-stage validation rates, with 67.8%, 65.0%, and 32.8% of patches judged usable, successfully applied, and successfully compiled, respectively, compared with 29.9%, 24.9%, and 9.0% for Aligned. In the Qwen pair, Abliterated improves localization performance, increasing line-level F1 from 2.08% to 3.91% and Top-1 accuracy from 4.10% to 6.95%. These findings suggest that evaluations of LLM-based security assistants should jointly measure whether models respond, whether their usable responses are correct, and whether their outputs remain actionable across the engineering workflow.