이중 도메인 표현 정렬: 기하학적 인식 아키텍처 탐색을 통한 2D 및 3D 비전 통합

Dual-Domain Representation Alignment: Bridging 2D and 3D Vision via Geometry-Aware Architecture Search

최신 컴퓨터 비전은 예측 정확도와 실시간 효율성 사이의 균형을 요구하지만, 대규모 비전 모델(LVM)의 높은 추론 비용은 리소스가 제한된 엣지 장치에서의 활용을 어렵게 만듭니다. 진화적 신경 아키텍처 탐색(ENAS)은 다중 목표 최적화에 적합하지만, 높은 후보 평가 비용과 서브 네트워크 간의 일관성 없는 순위 때문에 실제 사용에 어려움이 있습니다. 이러한 문제를 해결하기 위해, 우리는 다중 목표 진화적 아키텍처 탐색을 위한 효율적인 분산 프레임워크인 EvoNAS를 제안합니다. 우리는 비전 상태 공간(VSS)과 비전 트랜스포머(ViT) 모듈을 통합한 하이브리드 슈퍼넷을 구축하고, Cross-Architecture Dual-Domain Knowledge Distillation (CA-DDKD) 전략을 사용하여 이를 최적화합니다. CA-DDKD는 VSS 블록의 계산 효율성과 ViT 모듈의 의미론적 표현력을 결합하여 공유된 슈퍼넷의 표현 능력을 향상시키고, 추가적인 미세 조정 없이도 진화 과정에서 신뢰할 수 있는 적합도 추정을 가능하게 하여 순위 일관성을 향상시킵니다. 대규모 검증 비용을 줄이기 위해, 우리는 GPU 리소스 풀링 및 비동기 스케줄링을 기반으로 하는 분산 다중 모델 병렬 평가(DMMPE) 프레임워크를 추가로 도입했습니다. DMMPE는 기존의 데이터 병렬 평가에 비해 동시 다중 GPU 및 다중 모델 실행을 통해 70% 이상의 효율성을 향상시킵니다. COCO, ADE20K, KITTI, 및 NYU-Depth v2 데이터셋에 대한 실험 결과, EvoNAS에서 탐색된 아키텍처인 EvoNets는 정확도와 효율성 사이의 파레토 최적의 균형을 지속적으로 달성하는 것으로 나타났습니다. 대표적인 CNN, ViT, 및 Mamba 기반 모델과 비교했을 때, EvoNets는 엄격한 계산 예산 하에서 낮은 추론 지연 시간과 더 높은 처리량을 제공하며, 새로운 뷰 합성(novel view synthesis)과 같은 다운스트림 작업에서 강력한 일반화 성능을 유지합니다. 코드 및 관련 자료는 다음 링크에서 확인할 수 있습니다: https://github.com/EMI-Group/evonas

Modern computer vision requires balancing predictive accuracy with real-time efficiency, yet the high inference cost of large vision models (LVMs) limits deployment on resource-constrained edge devices. Although Evolutionary Neural Architecture Search (ENAS) is well suited for multi-objective optimization, its practical use is hindered by two issues: expensive candidate evaluation and ranking inconsistency among subnetworks. To address them, we propose EvoNAS, an efficient distributed framework for multi-objective evolutionary architecture search. We build a hybrid supernet that integrates Vision State Space and Vision Transformer (VSS-ViT) modules, and optimize it with a Cross-Architecture Dual-Domain Knowledge Distillation (CA-DDKD) strategy. By coupling the computational efficiency of VSS blocks with the semantic expressiveness of ViT modules, CA-DDKD improves the representational capacity of the shared supernet and enhances ranking consistency, enabling reliable fitness estimation during evolution without extra fine-tuning. To reduce the cost of large-scale validation, we further introduce a Distributed Multi-Model Parallel Evaluation (DMMPE) framework based on GPU resource pooling and asynchronous scheduling. Compared with conventional data-parallel evaluation, DMMPE improves efficiency by over 70% through concurrent multi-GPU, multi-model execution. Experiments on COCO, ADE20K, KITTI, and NYU-Depth v2 show that the searched architectures, termed EvoNets, consistently achieve Pareto-optimal trade-offs between accuracy and efficiency. Compared with representative CNN-, ViT-, and Mamba-based models, EvoNets deliver lower inference latency and higher throughput under strict computational budgets while maintaining strong generalization on downstream tasks such as novel view synthesis. Code is available at https://github.com/EMI-Group/evonas