LLM 기반 애플리케이션에는 시스템 수준의 위협 모니터링이 필요하다

LLM-enabled Applications Require System-Level Threat Monitoring

LLM 기반 애플리케이션은 복잡한 작업 실행을 위한 핵심 추론 구성 요소로 대규모 언어 모델을 활용하여 소프트웨어 생태계를 빠르게 재편하고 있다. 그러나 이러한 패러다임의 전환은 비결정적이고 학습 중심적이며 검증하기 어려운 LLM 동작의 특성으로 인해 근본적으로 새로운 신뢰성 문제를 야기하고 보안 공격 표면을 크게 확장시킨다. 새롭게 대두되는 이러한 불가피한 안전성 문제를 고려할 때, 우리는 이러한 위험을 예외적인 사건이 아닌 예상 가능한 운영 조건으로 취급해야 하며, 전문적인 사고 대응 관점이 필요하다고 주장한다. 결과적으로 신뢰할 수 있는 배포를 가로막는 주요 장벽은 모델 성능의 추가적인 향상이 아니라, 배포 이후 보안 관련 이상 징후를 탐지하고 맥락을 파악할 수 있는 시스템 수준의 위협 모니터링 메커니즘을 구축하는 것이다. 이는 단순 테스트나 가드레일 기반의 방어를 넘어서는, 지금까지 거의 탐구되지 않은 측면이다. 이에 따라 본 의견서는 신뢰할 수 있는 운영의 전제 조건이자 전용 사고 대응 프레임워크의 기반으로서, LLM 기반 애플리케이션 내 보안 위협에 대한 체계적이고 포괄적인 모니터링을 촉구한다.

LLM-enabled applications are rapidly reshaping the software ecosystem by using large language models as core reasoning components for complex task execution. This paradigm shift, however, introduces fundamentally new reliability challenges and significantly expands the security attack surface, due to the non-deterministic, learning-driven, and difficult-to-verify nature of LLM behavior. In light of these emerging and unavoidable safety challenges, we argue that such risks should be treated as expected operational conditions rather than exceptional events, necessitating a dedicated incident-response perspective. Consequently, the primary barrier to trustworthy deployment is not further improving model capability but establishing system-level threat monitoring mechanisms that can detect and contextualize security-relevant anomalies after deployment -- an aspect largely underexplored beyond testing or guardrail-based defenses. Accordingly, this position paper advocates systematic and comprehensive monitoring of security threats in LLM-enabled applications as a prerequisite for reliable operation and a foundation for dedicated incident-response frameworks.