PixJail: 자기 진화형 논문-파이프라인 재생 시스템을 활용한 텍스트-이미지 탈주 평가

PixJail: Self-Evolving Paper-to-Pipeline Reproduction for Text-to-Image Jailbreak Evaluation

텍스트-이미지(T2I) 탈주 기술이 빠르게 발전함에 따라, 기존의 벤치마크 및 재현 워크플로우는 이러한 변화를 따라가지 못하는 경우가 많습니다. 더욱 중요한 점은 T2I 탈주 평가는 단일 프롬프트 수준의 테스트가 아니라, 프롬프트 변환, 이미지 생성, 안전 필터링 및 다중 모드 판단을 포함한 여러 단계로 구성된 파이프라인 수준의 문제입니다. 이로 인해 논문 간 결과의 신뢰성 있는 재현과 공정한 비교가 어렵습니다. 이러한 격차를 해소하기 위해, 우리는 T2I 탈주 평가의 재현성을 높이기 위한 자기 진화형 논문-파이프라인 에이전트 프레임워크인 PixJail을 제안합니다. PixJail은 주어진 T2I 탈주 관련 논문과 선택적인 참조 코드를 기반으로, 각 논문에 특화된 공격 모듈과 실행 가능한 평가 파이프라인을 일관된 방식으로 구축하며, 원본 실험 결과를 충실하게 재현합니다. 또한, PixJail은 논문의 요약 정보, 공격 진화 패턴, 재사용 가능한 템플릿, 실패 사례 및 버전 관리된 결과물을 저장하는 메모리 은행을 유지하여, 향후 재현 시도가 이전의 경험을 활용할 수 있도록 지원합니다. 우리는 코드 공개 여부에 관계없이 대표적인 T2I 탈주 방법 열한 가지를 재현했습니다. PixJail은 원본 설정 하에서 이전 결과를 최소한의 오류(평균 2.1%, 중앙값 0%)로 정확하게 복원합니다. PixJail이 향후 T2I 탈주 재현 및 평가를 위한 통합 기반으로 활용되어, 수동 작업량을 크게 줄이는 데 기여할 수 있기를 바랍니다.

As Text-to-Image (T2I) jailbreak techniques evolve rapidly, existing benchmarks and reproduction workflows often struggle to keep pace. More importantly, T2I jailbreak evaluation is not a single prompt-level test, but a pipeline-level problem shaped by multiple stages, including prompt transformation, image generation, safety filtering, and multimodal judging. This makes results across papers difficult to reliably reproduce and fairly compare. To bridge this gap, we propose PixJail, a self-evolving paper-to-pipeline agent framework for reproducible T2I jailbreak evaluation. Given a T2I jailbreak paper and optional reference code, PixJail rapidly constructs a paper-specific attack module and a runnable evaluation pipeline under a unified contract, while faithfully reproducing the original experimental results. PixJail further maintains a memory bank that stores paper digests, attack evolution patterns, reusable templates, failure cases, and versioned artifacts, enabling future reproduction efforts to reuse prior experience. We reproduce eleven representative T2I jailbreak methods, including both code-available and code-unavailable papers. Under their original settings, our framework accurately recovers prior results with minimal error (2.1\% average, 0\% median). We hope that PixJail can serve as a unified foundation for future T2I jailbreak reproduction and evaluation, significantly reducing manual effort.