작업 영역 분할 및 순환 기법을 넘어: 생성 모델을 활용한 강력한 작업 특화 증강 기법의 자동 진화

Beyond Cropping and Rotation: Automated Evolution of Powerful Task-Specific Augmentations with Generative Models

데이터 증강은 컴퓨터 비전 모델의 과적합을 줄이는 데 중요한 역할을 해왔으며, AutoAugment와 같은 방법은 작업 특화 증강 기법의 설계를 자동화합니다. 최근 생성 모델(예: 조건부 확산 모델 및 소량 데이터 NeRF)의 발전은 데이터 증강에 있어 더욱 다양하고 현실적인 데이터를 생성하여 새로운 패러다임을 제시합니다. 그러나 작물 분할 또는 회전과 같은 기존 증강 기법과는 달리, 이러한 방법은 상당한 변화를 도입하여 모델의 강건성을 향상시키지만, 증강 기법이 작업에 제대로 맞지 않으면 성능 저하를 초래할 위험도 있습니다. 본 연구에서는 EvoAug이라는 자동 증강 학습 파이프라인을 제시합니다. 이 파이프라인은 생성 모델과 효율적인 진화 알고리즘을 함께 사용하여 최적의 작업 특화 증강 기법을 학습합니다. 저희 파이프라인은 이미지 증강에 대한 새로운 접근 방식을 도입하여 계층적으로 증강 기법을 조합하는 확률적 증강 트리를 학습함으로써 보다 체계적이고 적응적인 변환을 가능하게 합니다. 저희는 미세 분류 및 소량 데이터 학습 작업에서 뛰어난 성능을 보였습니다. 특히, 저희 파이프라인은 데이터가 부족한 환경에서도 도메인 지식에 부합하는 증강 기법을 발견합니다. 이러한 결과는 학습된 생성 증강 기법의 잠재력을 강조하며, 견고한 모델 학습을 위한 새로운 가능성을 열어줍니다.

Data augmentation has long been a cornerstone for reducing overfitting in vision models, with methods like AutoAugment automating the design of task-specific augmentations. Recent advances in generative models, such as conditional diffusion and few-shot NeRFs, offer a new paradigm for data augmentation by synthesizing data with significantly greater diversity and realism. However, unlike traditional augmentations like cropping or rotation, these methods introduce substantial changes that enhance robustness but also risk degrading performance if the augmentations are poorly matched to the task. In this work, we present EvoAug, an automated augmentation learning pipeline, which leverages these generative models alongside an efficient evolutionary algorithm to learn optimal task-specific augmentations. Our pipeline introduces a novel approach to image augmentation that learns stochastic augmentation trees that hierarchically compose augmentations, enabling more structured and adaptive transformations. We demonstrate strong performance across fine-grained classification and few-shot learning tasks. Notably, our pipeline discovers augmentations that align with domain knowledge, even in low-data settings. These results highlight the potential of learned generative augmentations, unlocking new possibilities for robust model training.