자기 학습 기반 의도 인식 트랜스포머를 이용한 다중 모달 차량 경로 예측

RankFormer: A Propose-then-Select Transformer for Multi-Agent Multimodal Trajectory Prediction

차량 경로 예측은 자율 주행 및 지능형 교통 시스템(ITS) 응용 분야에서 중요한 역할을 합니다. 여러 딥러닝 알고리즘이 차량 경로 예측을 위해 개발되었지만, 특정 그래프 구조(예: 그래프 신경망)에 의존하거나 명시적인 의도 레이블링을 필요로 하는 경우가 많아 유연성이 제한됩니다. 본 연구에서는 인접 차량을 고려한 다중 모달 정보를 활용하는 순수 트랜스포머 기반 네트워크를 제안합니다. 두 개의 독립적인 추론 경로를 사용합니다. 한 경로는 차량 경로를 예측하는 데 집중하고, 다른 경로는 인접 차량을 고려하여 각 의도의 발생 가능성을 예측하는 데 집중합니다. 연구 결과, 두 경로를 분리하여 공간 정보 처리 모듈과 경로 생성 모듈을 분리함으로써 성능 향상을 확인할 수 있었습니다. 또한, 모델이 K개의 경로에 대한 잔차 오프셋을 예측함으로써 순서가 정렬된 경로 그룹을 학습할 수 있음을 확인했습니다.

Predicting traffic agent trajectories plays an important role in autonomous driving, traffic operations, transportation safety analysis, etc. Although many deep learning algorithms are devised to predict future agent trajectories, the trajectory prediction problem is still challenging due to the complexity of decision-making process, interactions with surrounding vehicles, and the existence of multiple possible intentions for the traveling agents even under similar scenarios. Most existing methods are limited by the requirement of graph structures (e.g., Graph Neural Network) or the requirement of manually labeled intentions. In this study, we propose a pure Transformer-based deep learning model for multi-modal trajectory prediction considering temporal dependencies and agent-agent spatial interactions. After encoding the historical trajectories, two parallel decoders are employed to generate trajectories and probabilities on separate decoder tracks. The model is evaluated on two real-world datasets, one highway dataset and the other pedestrian dataset with solid performance. One important insight is that following a ``propose-then-select'' strategy, the agent-agent spatial interactions are only considered for probability estimation instead of trajectory generation. In summary, the proposed model provides a potential direction to design more robust and effective multi-modal trajectory prediction models.