LLM-MLFFN: 대규모 언어 모델을 활용한 다단계 자율 주행 행동 특징 융합 네트워크

LLM-MLFFN: Multi-Level Autonomous Driving Behavior Feature Fusion via Large Language Model

자율 주행 차량(AV)의 운전 행동 정확하게 분류하는 것은 안전 검증, 성능 진단 및 교통 통합 분석에 매우 중요합니다. 그러나 기존 접근 방식은 주로 수치적 시계열 모델링에 의존하며, 종종 의미론적 추상화가 부족하여 복잡한 교통 환경에서 해석 가능성과 안정성이 제한됩니다. 본 논문에서는 다차원 운전 데이터의 복잡성을 해결하기 위해 설계된 새로운 대규모 언어 모델(LLM) 기반 다단계 특징 융합 네트워크인 LLM-MLFFN을 제안합니다. 제안하는 LLM-MLFFN 프레임워크는 대규모 사전 훈련 모델의 사전 지식을 통합하고 다단계 접근 방식을 사용하여 분류 정확도를 향상시킵니다. LLM-MLFFN은 다음 세 가지 핵심 구성 요소로 구성됩니다. (1) 통계적, 행동적 및 동적 특징을 추출하여 운전 행동의 정량적 측면을 포착하는 다단계 특징 추출 모듈, (2) LLM을 활용하여 원시 데이터를 고수준의 의미론적 특징으로 변환하는 의미론적 설명 모듈, (3) 가중치 주의 메커니즘을 사용하여 수치적 특징과 의미론적 특징을 결합하여 안정성과 예측 정확도를 향상시키는 이중 채널 다단계 특징 융합 네트워크. Waymo 공개 경로 데이터 세트에 대한 평가 결과, 제안하는 LLM-MLFFN이 기존 머신러닝 모델보다 우수한 성능을 보이는 것으로 나타났으며, 94% 이상의 분류 정확도를 달성했습니다. 추가적인 분석을 통해 다단계 융합, 특징 추출 전략 및 LLM 기반 의미론적 추론의 중요한 기여도를 검증했습니다. 이러한 결과는 구조화된 특징 모델링을 언어 기반의 의미론적 추상화와 통합하는 것이 안정적인 자율 주행 행동 분류를 위한 체계적이고 해석 가능한 방법을 제공한다는 것을 시사합니다.

Accurate classification of autonomous vehicle (AV) driving behaviors is critical for safety validation, performance diagnosis, and traffic integration analysis. However, existing approaches primarily rely on numerical time-series modeling and often lack semantic abstraction, limiting interpretability and robustness in complex traffic environments. This paper presents LLM-MLFFN, a novel large language model (LLM)-enhanced multi-level feature fusion network designed to address the complexities of multi-dimensional driving data. The proposed LLM-MLFFN framework integrates priors from largescale pre-trained models and employs a multi-level approach to enhance classification accuracy. LLM-MLFFN comprises three core components: (1) a multi-level feature extraction module that extracts statistical, behavioral, and dynamic features to capture the quantitative aspects of driving behaviors; (2) a semantic description module that leverages LLMs to transform raw data into high-level semantic features; and (3) a dual-channel multi-level feature fusion network that combines numerical and semantic features using weighted attention mechanisms to improve robustness and prediction accuracy. Evaluation on the Waymo open trajectory dataset demonstrates the superior performance of the proposed LLM-MLFFN, achieving a classification accuracy of over 94%, surpassing existing machine learning models. Ablation studies further validate the critical contributions of multi-level fusion, feature extraction strategies, and LLM-derived semantic reasoning. These results suggest that integrating structured feature modeling with language-driven semantic abstraction provides a principled and interpretable pathway for robust autonomous driving behavior classification.