모듈형 종단간(E2E) 자율주행 패러다임을 위한 소프트웨어-하드웨어 협동 최적화: 최적화 기법, 시뮬레이션 환경 및 평가지표의 통합 프레임워크

Software-Hardware Co-optimization for Modular E2E AV Paradigm: A Unified Framework of Optimization Approaches, Simulation Environment and Evaluation Metrics

모듈형 종단간(ME2E) 자율주행 패러다임은 모듈의 해석 가능성과 전역 최적화 기능을 결합하여 강력한 성능을 입증해 왔다. 그러나 기존 연구들은 주로 정확도 향상에만 집중하는 반면, 추론 지연 시간(latency)이나 에너지 소비와 같은 중요한 시스템 수준의 요소들은 종종 간과되어, 모델 설계가 점차 복잡해지고 실제 배포를 저해하는 결과를 초래한다. 모델 압축 및 가속에 관한 이전의 노력들은 일반적으로 소프트웨어 또는 하드웨어 측면 중 하나만을 독립적으로 최적화해 왔다. 소프트웨어 전용 최적화는 중간 텐서 접근 및 연산자 스케줄링 오버헤드를 근본적으로 제거할 수 없으며, 하드웨어 전용 최적화는 모델 구조와 정밀도에 의해 제약을 받는다. 결과적으로 이러한 최적화의 실제적인 이점은 제한적인 경우가 많다. 이러한 문제를 해결하기 위해, 본 논문은 ME2E 자율주행 추론을 위한 재사용 가능한 소프트웨어 및 하드웨어 협동 최적화와 폐루프(closed-loop) 평가 프레임워크를 제안한다. 이 프레임워크는 통일된 시스템 수준의 목표 하에 소프트웨어 수준의 모델 최적화와 하드웨어 수준의 연산 최적화를 결합하여 통합한다. 또한 안전성, 승차감, 효율성, 지연 시간, 에너지를 종합적으로 고려하여 시스템 성능을 평가하는 다차원 평가지표를 도입함으로써, 서로 다른 최적화 전략 간의 정량적 비교를 가능하게 한다. 다수의 ME2E 자율주행 스택에 걸친 실험 결과, 제안된 프레임워크는 기준(baseline) 수준의 주행 성능을 유지하면서도 추론 지연 시간과 에너지 소비를 크게 줄여 실질적인 전반적 시스템 수준의 향상을 달성함을 보여준다. 이러한 결과는 제안된 프레임워크가 ME2E 자율주행 시스템의 효율적인 배포를 위한 실용적이고 실행 가능한 지침을 제공함을 입증한다.

Modular end-to-end (ME2E) autonomous driving paradigms combine modular interpretability with global optimization capability and have demonstrated strong performance. However, existing studies mainly focus on accuracy improvement, while critical system-level factors such as inference latency and energy consumption are often overlooked, resulting in increasingly complex model designs that hinder practical deployment. Prior efforts on model compression and acceleration typically optimize either the software or hardware side in isolation. Software-only optimization cannot fundamentally remove intermediate tensor access and operator scheduling overheads, whereas hardware-only optimization is constrained by model structure and precision. As a result, the real-world benefits of such optimizations are often limited. To address these challenges, this paper proposes a reusable software and hardware co-optimization and closed-loop evaluation framework for ME2E autonomous driving inference. The framework jointly integrates software-level model optimization with hardware-level computation optimization under a unified system-level objective. In addition, a multidimensional evaluation metric is introduced to assess system performance by jointly considering safety, comfort, efficiency, latency, and energy, enabling quantitative comparison of different optimization strategies. Experiments across multiple ME2E autonomous driving stacks show that the proposed framework preserves baseline-level driving performance while significantly reducing inference latency and energy consumption, achieving substantial overall system-level improvements. These results demonstrate that the proposed framework provides practical and actionable guidance for efficient deployment of ME2E autonomous driving systems.