안전한 로깅을 향하여: LLM을 활용한 로깅 코드 보안 문제의 특성 분석 및 성능 평가

Towards Secure Logging: Characterizing and Benchmarking Logging Code Security Issues with LLMs

로깅 코드는 소프트웨어 시스템에서 중요한 역할을 수행하며, 디버깅 및 모니터링에 필수적인 주요 이벤트 및 동작을 기록합니다. 그러나 안전하지 않은 로깅 방식은 민감한 정보를 의도치 않게 노출시키거나, 로그 주입과 같은 공격을 가능하게 하여 시스템 보안 및 개인 정보 보호에 심각한 위협을 초래할 수 있습니다. 기존 연구에서는 로깅 코드의 일반적인 결함을 다루었지만, 특히 LLM을 활용한 로깅 코드 보안 문제에 대한 체계적인 분석은 제한적이었습니다. 본 논문에서는 네 가지 주요 범주와 10개의 관련 패턴을 포괄하는 로깅 코드 보안 문제에 대한 종합적인 분류 체계를 제시합니다. 또한, 수동으로 검토 및 주석이 달린 101개의 실제 로깅 보안 문제 보고서로 구성된 벤치마크 데이터 세트를 구축했습니다. 그 후, 다양한 문맥 정보를 통합하여 LLM이 로깅 보안 문제를 탐지하고 수정하는 능력을 평가하는 자동화된 프레임워크를 제안합니다. 실험 결과는 성능의 상당한 차이를 보여줍니다. LLM은 보안 문제 탐지에는 중간 정도의 효과를 보이지만 (예: 평균 정확도는 12.9%에서 52.5% 사이), 정확한 코드 수정 코드를 안정적으로 생성하는 데는 상당한 어려움을 겪습니다. 또한, 문제 설명만 제공하는 것이 보안 패턴 설명 또는 두 가지의 조합보다 LLM의 탐지 정확도를 향상시키는 데 더 효과적임을 확인했습니다. 전반적으로, 본 연구의 결과는 실무자들에게 실질적인 통찰력을 제공하며, 현재 LLM이 안전한 로깅에 대해 갖는 잠재력과 한계를 강조합니다.

Logging code plays an important role in software systems by recording key events and behaviors, which are essential for debugging and monitoring. However, insecure logging practices can inadvertently expose sensitive information or enable attacks such as log injection, posing serious threats to system security and privacy. Prior research has examined general defects in logging code, but systematic analysis of logging code security issues remains limited, particularly in leveraging LLMs for detection and repair. In this paper, we derive a comprehensive taxonomy of logging code security issues, encompassing four common issue categories and 10 corresponding patterns. We further construct a benchmark dataset with 101 real-world logging security issue reports that have been manually reviewed and annotated. We then propose an automated framework that incorporates various contextual knowledge to evaluate LLMs' capabilities in detecting and repairing logging security issues. Our experimental results reveal a notable disparity in performance: while LLMs are moderately effective at detecting security issues (e.g., the accuracy ranges from 12.9% to 52.5% on average), they face noticeable challenges in reliably generating correct code repairs. We also find that the issue description alone improves the LLMs' detection accuracy more than the security pattern explanation or a combination of both. Overall, our findings provide actionable insights for practitioners and highlight the potential and limitations of current LLMs for secure logging.