UniPCB: 개방형 PCB 품질 검사를 위한 통합 시각-언어 벤치마크

UniPCB: A Unified Vision-Language Benchmark for Open-Ended PCB Quality Inspection

다중 모드 대규모 언어 모델(MLLM)은 일반적인 산업 품질 검사에 유망하지만, 인쇄 회로 기판(PCB) 검사와 같은 복잡한 시나리오에서는 성능이 부족합니다. PCB 검사는 밀집된 부품, 복잡한 배선 구조, 그리고 전문적인 지식이 필요한 미묘한 결함 패턴으로 인해 고유한 어려움을 안고 있습니다. 그러나 MLLM을 PCB 검사 작업 전반에 걸쳐 정량적으로 평가할 수 있는 고품질의 통합 시각-언어 벤치마크는 데이터 가용성의 제한, 데이터셋의 단편화, 그리고 일관성 없는 표준화로 인해 아직까지 존재하지 않았습니다. 이러한 격차를 해소하기 위해, 우리는 개방형 PCB 품질 검사를 위한 최초의 통합 시각-언어 벤치마크인 UniPCB를 제안합니다. UniPCB는 세 가지 주석이 달린 시나리오에 걸쳐 다양한 소스에서 데이터를 수집하고 표준화하는 체계적인 파이프라인을 통해 구축되었습니다. 또한, 이 파이프라인을 통해 생성된 새로운 지시 데이터셋으로 학습된 MLLM인 PCB-GPT를 소개합니다. PCB-GPT는 인간 전문가의 학습 과정을 모방하는 새로운 점진적 교육 과정을 활용합니다. UniPCB 벤치마크에 대한 평가는 기존의 MLLM이 특정 도메인 작업에서 어려움을 겪는 반면, PCB-GPT가 새로운 기준을 제시한다는 것을 보여줍니다. 특히, PCB-GPT는 가장 강력한 경쟁자보다 미세한 결함 위치 추정 성능이 2배 이상 높으며, 위치 추정과 분석 측면에서 상당한 장점을 보입니다. 우리는 향후 연구를 촉진하기 위해 지시 데이터, 벤치마크, 그리고 모델을 공개할 예정입니다.

Multimodal Large Language Models (MLLMs) show promise for general industrial quality inspection, but fall short in complex scenarios, such as Printed Circuit Board (PCB) inspection. PCB inspection poses unique challenges due to densely packed components, complex wiring structures, and subtle defect patterns that require specialized domain expertise. However, a high-quality, unified vision-language benchmark for quantitatively evaluating MLLMs across PCB inspection tasks remains absent, stemming not only from limited data availability but also from fragmented datasets and inconsistent standardization. To fill this gap, we propose UniPCB, the first unified vision-language benchmark for open-ended PCB quality inspection. UniPCB is built via a systematic pipeline that curates and standardizes data from disparate sources across three annotated scenarios. Furthermore, we introduce PCB-GPT, an MLLM trained on a new instruction dataset generated by this pipeline, utilizing a novel progressive curriculum that mimics the learning process of human experts. Evaluations on the UniPCB benchmark show that while existing MLLMs falter on domain-specific tasks, PCB-GPT establishes a new baseline. Notably, it more than doubles the performance on fine-grained defect localization compared to the strongest competitors, with significant advantages in localization and analysis. We will release the instruction data, benchmark, and model to facilitate future research.