AnomalyAgent: 도구 증강 강화 학습을 통한 에이전트 기반 산업 이상 데이터 생성

AnomalyAgent: Agentic Industrial Anomaly Synthesis via Tool-Augmented Reinforcement Learning

산업 분야의 이상 데이터 생성은 이상 탐지 작업에서 데이터 부족 문제를 해결하는 데 중요한 방법입니다. 기존의 대부분 이상 데이터 생성 방법은 단일 단계 생성 메커니즘에 의존하며, 복잡한 추론 및 반복적인 최적화 능력이 부족하여 의미적으로 현실적인 이상 샘플을 생성하기 어렵습니다. 본 논문에서는 자기 성찰, 지식 검색 및 반복적인 개선 능력을 갖춘 이상 데이터 생성 에이전트인 AnomalyAgent를 제안합니다. AnomalyAgent는 프롬프트 생성 (PG), 이미지 생성 (IG), 품질 평가 (QE), 지식 검색 (KR) 및 마스크 생성 (MG)의 다섯 가지 도구를 탑재하여 폐쇄 루프 최적화를 가능하게 합니다. 의사 결정 및 자기 성찰 능력을 향상시키기 위해 실제 이상 이미지로부터 구조화된 경로를 구성하고, 지도 학습 미세 조정과 강화 학습의 두 단계 학습 프레임워크를 설계했습니다. 이 과정은 세 가지 부분으로 구성된 보상 메커니즘에 의해 구동됩니다. (1) 생성된 이상 데이터의 품질 및 위치의 합리성을 감독하는 작업 보상, (2) 모델이 이상 데이터 생성 프롬프트를 개선하는 능력을 학습시키는 성찰 보상, (3) 경로 준수를 보장하는 행동 보상입니다. MVTec-AD 데이터셋에서 AnomalyAgent는 이상 데이터 생성에 대해 IS/IC-L 값이 2.10/0.33을 달성했으며, ResNet34를 사용한 분류 정확도가 57.0%이고, 간단한 UNet을 사용한 이미지/픽셀 수준에서 AP 값이 각각 99.3%/74.2%로, 기존의 모든 제로샷 최고 성능 모델을 능가했습니다. 코드 및 데이터는 공개될 예정입니다.

Industrial anomaly generation is a crucial method for alleviating the data scarcity problem in anomaly detection tasks. Most existing anomaly synthesis methods rely on single-step generation mechanisms, lacking complex reasoning and iterative optimization capabilities, making it difficult to generate anomaly samples with high semantic realism. We propose AnomalyAgent, an anomaly synthesis agent with self-reflection, knowledge retrieval, and iterative refinement capabilities, aiming to generate realistic and diverse anomalies. Specifically, AnomalyAgent is equipped with five tools: Prompt Generation (PG), Image Generation (IG), Quality Evaluation (QE), Knowledge Retrieval (KR), and Mask Generation (MG), enabling closed-loop optimization. To improve decision-making and self-reflection, we construct structured trajectories from real anomaly images and design a two-stage training framework: supervised fine-tuning followed by reinforcement learning. This process is driven by a three-part reward mechanism: (1) task rewards to supervise the quality and location rationality of generated anomalies; (2) reflection rewards to train the model's ability to improve anomaly synthesis prompt; (3) behavioral rewards to ensure adherence to the trajectory. On the MVTec-AD dataset, AnomalyAgent achieves IS/IC-L of 2.10/0.33 for anomaly generation, 57.0% classification accuracy using ResNet34, and 99.3%/74.2% AP at the image/pixel level using a simple UNet, surpassing all zero-shot SOTA methods. The code and data will be made publicly available.