학문적 정직성을 위한 인공지능 탐지 실패 원인

Why AI Detection Fails for Academic Integrity

대학 및 연구 기관들은 학문적 정직성 확보를 위해 상용 AI 탐지 도구를 사용하고 있지만, 이러한 탐지 도구는 AI가 작성한 전체 텍스트와 AI 편집된 텍스트를 구별하지 못하여, 이 둘을 모두 부정행위로 간주할 수 있습니다. 본 연구에서는 발표된 영어 초록(4개 분야; 2013년~2015년 vs. 2023년~2025년)을 대상으로 통제된 실험을 통해 인간/AI 표본으로 대체하여, 해당 정책의 실패를 tau=0.50 조건에서 정량적으로 분석했습니다. 지침 준수형 AI 지원이라고 추정되는 '초록만 약간 수정'하는 경우, 탐지율은 64%에서 80%(Pangram/GPTZero)에 달합니다. 수정되지 않은 2023년~2025년 원본 초록의 탐지율은 9%에서 15%로 나타났으며, 이는 STEM 분야보다 비-STEM 분야에서 훨씬 높습니다(p<0.001). 높은 탐지 점수는 단순히 저자 의도뿐만 아니라 긴 토큰 수와 학술 용어 밀도와 관련이 있습니다. 'undetectable AI'를 사용하여 인간적인 표현으로 수정하면 회피율은 거의 100%에 가깝습니다. 즉, AI로 표기된 재작성된 텍스트 중 4% 미만이 탐지됩니다(수정 후 탐지율 <4%; 오탐률 >96%). 정직하게 AI를 활용하여 편집하는 경우, 'undetectable AI'를 사용한 회피보다 더 높은 제재 위험을 초래합니다. 따라서, 탐지 점수는 독립적인 부정행위 증거로 사용되어서는 안 됩니다.

Institutions use commercial AI detectors for academic integrity, yet detectors cannot distinguish AI editing from full LLM drafts and may treat both as misconduct. In a controlled study of published English abstracts (four domains; 2013 to 2015 vs. 2023 to 2025), we quantify this policy failure under proxy human/AI labels at tau=0.50. Light "refine abstract only" edits, a proxy for guideline-compliant AI assistance, are flagged at 64 to 80% (Pangram/GPTZero). Unmodified 2023 to 2025 originals are flagged at 9 to 15%, with non-STEM rates far above STEM (p<0.001); elevated scores track long-token and Academic Word List density, not authorship intent alone. After Undetectable AI humanization, evasion is near-total: fewer than 4% of AI-labeled rewrites remain flagged (post-humanization detection rate <4%; FNR >96%). Honest AI-editing results in a higher sanction risk than humanizer-assisted evasion. Therefore, detector scores should not serve as standalone misconduct evidence.