LLM 기반 사이버 시스템 엔지니어링을 위한 CI/CD 워크플로우 지능

LLM-Driven CI-CD Workflow Intelligence for Cyber Systems Engineering

CI/CD 워크플로우는 실행 가능한 운영 정책으로 작용하며, 빌드, 테스트, 배포 및 업데이트 과정을 결정하고 유지 관리자가 인프라와 상호 작용하는 방식을 조절합니다. 따라서 이는 사이버 시스템 엔지니어링에서 중요한 측정 지표입니다. 최근의 대규모 언어 모델(LLM) 연구에서는 워크플로우 단계를 구성 파일로부터 직접 인식할 수 있음을 보여주었지만, 단계 레이블만으로는 워크플로우가 얼마나 불안정하거나 특정 생태계에 비정상적인지, 또는 어떤 부분을 먼저 수정해야 하는지를 알 수 없습니다. 본 논문에서는 GitHub의 대규모 코드 저장소에서 리포지토리 정보 보강, 부정 패턴 탐지, 단계 분석 및 추천 생성 기능을 결합한 LLM 기반 CI/CD 분석 파이프라인을 제시합니다. 1,000개 이상의 스타를 가진 59,550개의 리포지토리를 시작으로, CI/CD를 사용하는 34,225개의 프로젝트를 식별하고 127,559개의 구성 파일을 수집했습니다. 75,201개의 분석된 워크플로우에서 부정 패턴 탐지기는 총 434,769건의 문제를 발견했으며, 이는 주로 안정성과 유지 관리성 관련 문제입니다. 59,906개의 구성 파일에서 단계 사용량은 프로그래밍 언어별로 상당한 차이를 보입니다 ($χ^2 = 4168.88$, $p < 0.001$, Cramer's $V = 0.063$). 또한 도메인 분석 결과, 모바일 프로젝트는 다른 프로젝트에 비해 배포 빈도와 캐시 사용량이 높다는 것을 알 수 있습니다. 리포지토리 수준의 추천 생성에서는 few-shot 프롬프트 방식이 가장 우수한 성능을 보이며, 평균적으로 리포지토리당 8.25개의 추천 사항을 제공하고 이 중 96.1%가 YAML 형식으로 유효합니다. 종합적으로 볼 때, 본 연구 결과는 워크플로우 마이닝을 단순히 단계 분류 문제로 취급하기보다는 진단, 맥락 및 인간 검토를 결합한 CI/CD 관찰의 중요성을 강조합니다.

CI/CD workflows have become executable operational policy: they decide what gets built, tested, released, and deployed, and they mediate how maintainers interact with delivery infrastructure. That makes them an important measurement point for cyber-systems engineering. Recent large language model (LLM) work shows that workflow stages can be recognized directly from configuration files, but stage labels alone do not tell us whether a workflow is brittle, unusual for its ecosystem, or worth revising first. We present an LLM-based CI/CD analysis pipeline that combines repository enrichment, anti-pattern detection, stage mining, and recommendation generation over a large GitHub corpus. Starting from 59,550 repositories with at least 1,000 stars, we identify 34,225 projects with CI/CD and collect 127,559 configuration files. Across 75,201 analyzed workflows, the anti-pattern detector reports 434,769 findings, dominated by reliability and maintainability issues. Across 59,906 configurations, stage usage differs significantly by language ($χ^2 = 4168.88$, $p < 0.001$, Cramer's $V = 0.063$), and domain analysis shows distinct operational profiles, including higher release and cache usage in mobile projects. For repository-level recommendation generation, few-shot prompting performs best overall, averaging 8.25 recommendations per repository with 96.1% YAML-valid snippets. Taken together, the results argue for CI/CD observability that combines diagnosis, context, and human review rather than treating workflow mining as a stage-classification problem alone.