연구 결과물의 보안성에 대한 고찰

On the Security of Research Artifacts

연구 결과물은 재현성을 지원하기 위해 널리 공유되며, 많은 주요 학회에서 결과물 평가(Artifact Evaluation, AE)가 일반화되었습니다. 그러나 AE는 주로 결과물이 주장된 대로 작동하는지, 그리고 재현 가능한지를 확인하는 데 초점을 맞추고 있으며, 잠재적인 보안 위험은 간과되는 경우가 많습니다. 이러한 결과물은 공개적으로 배포되고 재사용되기 때문에, 의도치 않게 오용될 가능성이 있으며, 안전하고 책임감 있는 공유에 대한 우려를 야기할 수 있습니다. 본 연구에서는 최상위 보안 분야의 509개 연구 결과물을 분석한 결과, 많은 결과물에 잠재적인 공격 경로를 유발할 수 있는 취약한 코드 패턴이 포함되어 있음을 확인했습니다. 우리는 이러한 위험을 체계적으로 분석할 수 있도록 컨텍스트 기반 보안 평가를 위한 분류 체계를 제안합니다. 정적 분석을 수행하고 그 결과를 검토하여 오탐을 제거하고 실제 보안 위험을 식별했습니다. 분석 결과, 41.60%의 일반적인 문제가 실제 사용 환경에서 보안상의 우려를 야기할 수 있는 것으로 나타났습니다. 확장 가능한 분석을 지원하기 위해, 코드 의미, 실행 컨텍스트 및 실제 악용 가능성을 고려하여 도구에서 보고된 결과를 분석하는 자율 프레임워크로 나아가는 첫 번째 단계인 SAFE (Security-Aware Framework for Artifact Evaluation)를 소개합니다. SAFE는 보안 및 비보안 위험을 구별하는 데 84.80%의 정확도와 84.63%의 F1 점수를 달성했습니다. 전반적으로, 본 연구의 결과는 안전하고 책임감 있는 연구 공유를 촉진하기 위해 AE에서 보안 또한 중요한 요소임을 보여줍니다. 소스 코드는 다음 주소에서 확인할 수 있습니다: https://github.com/nanda-rani/SAFE

Research artifacts are widely shared to support reproducibility, and artifact evaluation (AE) has become common at many leading conferences. However, AE mainly checks whether artifacts work as claimed and can be reproduced. It largely overlooks potential security risks. Since these artifacts are publicly released and reused, they may unintentionally create opportunities for misuse and raise concerns about safe and responsible sharing. We study 509 research artifacts from top-tier security venues and find that many contain insecure code patterns that may introduce potential attack vectors. We propose a taxonomy for context-aware security assessment to enable structured analysis of such risks. We perform static analysis and examine the resulting findings, filtering false positives and identifying real security risks. Our analysis shows that 41.60% of the prevalent findings may pose security concerns under practical usage. To support scalable analysis, we introduce SAFE (Security-Aware Framework for Artifact Evaluation), a first step toward an autonomous framework that analyzes tool-reported findings by considering code semantics, execution context, and practical exploitability. SAFE achieves 84.80% accuracy and 84.63% F1-score in distinguishing security and non-security risks. Overall, our results show that security is also important in AE for promoting safe and responsible research sharing. The source code is available at: https://github.com/nanda-rani/SAFE