개방형 환경에서의 움직임 예측

Open-World Motion Forecasting

움직임 예측은 장면 내의 동적 객체들의 미래 궤적을 예측하여 자율 주행 차량이 장면의 변화를 효과적으로 이해할 수 있도록 합니다. 기존 연구들은 폐쇄형 환경을 가정하고, 고정된 객체 분류 체계와 높은 품질의 인지 능력을 필요로 하기 때문에, 실제 환경에서 불완전한 인지 능력과 시간에 따라 변화하는 객체 분류 체계로 인해 어려움을 겪습니다. 본 연구에서는 이러한 근본적인 한계를 극복하기 위해, 새로운 객체 클래스가 시간에 따라 순차적으로 도입되는 개방형 환경에서의 움직임 예측 방법을 제안합니다. 제안하는 방법은 기존 클래스에 대한 파국적인 망각을 완화하면서 동시에 새로 도입된 클래스의 예측을 학습할 수 있는 최초의 엔드-투-엔드 클래스 증분형 움직임 예측 프레임워크를 사용합니다. 새로운 클래스가 도입되면, 본 프레임워크는 모든 알려진 클래스에 대한 움직임 예측의 가짜 레이블을 생성하고, 이를 비전-언어 모델을 사용하여 일관성 없는 예측을 제거합니다. 또한, 본 연구는 쿼리 특징의 분산을 활용하여 유용한 움직임 패턴을 가진 이전 시퀀스를 샘플링하는 새로운 재생 샘플링 전략을 사용하여 파국적인 망각을 더욱 완화합니다. nuScenes 및 Argoverse 2 데이터셋에 대한 광범위한 실험 결과는 본 연구 방법이 파국적인 망각에 효과적으로 대응하고, 기존 클래스의 성능을 유지하면서 새로운 클래스에 대한 적응력을 향상시킨다는 것을 보여줍니다. 또한, 본 연구 방법이 실제 주행 환경으로의 제로샷 전송을 지원하고, 전체 자율 주행 시스템의 지속적인 적응을 가능하게 하는 엔드-투-엔드 클래스 증분형 계획으로 자연스럽게 확장될 수 있음을 보여줍니다. 코드 및 관련 자료는 https://omen.cs.uni-freiburg.de 에서 확인할 수 있습니다.

Motion forecasting aims to predict the future trajectories of dynamic agents in the scene, enabling autonomous vehicles to effectively reason about scene evolution. Existing approaches operate under the closed-world regime and assume fixed object taxonomy as well as access to high-quality perception. Therefore, they struggle in real-world settings where perception is imperfect and object taxonomy evolves over time. In this work, we bridge this fundamental gap by introducing open-world motion forecasting, a novel setting in which new object classes are sequentially introduced over time and future object trajectories are estimated directly from camera images. We tackle this setting by proposing the first end-to-end class-incremental motion forecasting framework to mitigate catastrophic forgetting while simultaneously learning to forecast newly introduced classes. When a new class is introduced, our framework employs a pseudo-labeling strategy to first generate motion forecasting pseudo-labels for all known classes which are then processed by a vision-language model to filter inconsistent and over-confident predictions. Parallelly, our approach further mitigates catastrophic forgetting by using a novel replay sampling strategy that leverages query feature variance to sample previous sequences with informative motion patterns. Extensive evaluation on the nuScenes and Argoverse 2 datasets demonstrates that our approach successfully resists catastrophic forgetting and maintains performance on previously learned classes while improving adaptation to novel ones. Further, we demonstrate that our approach supports zero-shot transfer to real-world driving and naturally extends to end-to-end class-incremental planning, enabling continual adaptation of the full autonomous driving system. We provide the code at https://omen.cs.uni-freiburg.de .