AV 장면 예측을 위한 디퓨전 트랜스포머 기반 세계-행동 모델

Diffusion Transformer World-Action Model for AV Scene Prediction

행동에 조건부로 작동하는 세계 모델은 자율 주행차가 자체 계획된 제어를 통해 미래의 카메라 장면을 예측할 수 있도록 하여, 실제 환경에서의 실험 없이 계획 및 시뮬레이션을 가능하게 합니다. 그러나 이러한 모델이 작고 학습 가능한 규모일 경우, 예측 결과는 불확실하며, 현재 연구 분야에서 사용되는 표준 왜곡 측정 지표는 오히려 현실적인 예측보다 흐릿한 평균 회귀를 더 높게 평가하는 경향이 있습니다. 본 연구에서는 이러한 문제를 해결하기 위해, 주어진 현재 전방 카메라의 잠재 벡터와 일련의 자율 주행 차량의 행동 시퀀스를 기반으로 미래 장면의 잠재 벡터를 예측하고, 고정된 디코더를 사용하여 이를 8초 후까지 $256 imes 256$ 프레임으로 변환하는 작고 효율적인 잠재 세계 모델을 제안합니다. 우리는 150개의 nuScenes 데이터셋에서 이 모델을 평가했습니다. 먼저, 어떤 인코더를 사용하는 것이 가장 효과적인지 비교 실험을 수행한 결과, 시간적 문맥 정보를 활용하는 V-JEPA2가 단일 프레임 인코더 중 가장 우수한 성능을 보여주며 스티어링 RMSE를 40% 감소시켰습니다. 이후, 잠재 디퓨전 트랜스포머(DiT) 모델을 학습시키고, 체계적인 분석을 통해 이 모델이 필요로 하는 네 가지 핵심 요소 (공간 토큰, $x_0$ 목적 함수, 잔차 고정, 목표 불확실성에 맞는 샘플링)를 식별했습니다. Stable-Diffusion-VAE 기반의 인코딩-예측-디코딩 파이프라인에서, 왜곡 측정 지표(코사인 유사도, SSIM)는 흐릿한 평균 예측을 선호하며, 이는 디퓨전 모델이 실제 프레임 분포와 훨씬 더 가깝다는 사실을 가리고 있습니다. Inception 기반의 FID 및 KID 지표를 통해 명확한 인지-왜곡 경계를 확인했습니다. 디퓨전 모델은 KID 값이 0.078로, 회귀 모델(0.375)보다 4.8배 더 우수한 성능을 보였으며, 테스트 데이터에 대한 추가적인 정보 없이도 학습된 파라미터를 사용하여 실제 환경에서 활용할 수 있도록 했습니다. 또한, 제안하는 모델은 실제로 행동에 의해 제어 가능한 특성을 가지고 있습니다 (스티어링 값의 변화가 장면 이동에 영향을 미치며, Spearman 상관 계수 ρ = 0.81, 회귀 모델의 경우 -0.18). 제한된 단일 단계 동작을 공유된 현재 프레임을 기준으로 조정하고, 전체 ground truth 운동량 크기를 복원하는 170만 개의 파라미터로 구성된

Action-conditioned world models let an autonomous vehicle predict future camera scenes from its own planned controls, enabling planning and simulation without real-world rollouts, but at compact, trainable scale the futures are ambiguous and the field's standard distortion metrics actively mislead: they reward a blurry regression mean over a realistic prediction. We confront this with a compact latent world model that, given the present front-camera latent and a sequence of ego-actions, predicts future scene latents a frozen decoder renders to $256 \times 256$ frames up to 8 seconds ahead, evaluated on 150 held-out nuScenes scenes. We first benchmark where to predict: across six frozen encoders spanning four representation families, V-JEPA2 with temporal context reduces steering RMSE by 40% over the best single-frame encoder. We then train a latent Diffusion Transformer (DiT) and, through a controlled diagnosis, identify the four ingredients it needs: spatial tokens, the $x_0$ objective, residual anchoring, and sampling matched to target uncertainty. In a Stable-Diffusion-VAE encode-predict-decode pipeline we expose the central tension: distortion metrics (cosine similarity, SSIM) favor the blurry mean, masking that the diffusion model is far closer to the real frame distribution. Inception-based FID and KID reveal a clean perception-distortion frontier: diffusion attains KID 0.078 versus 0.375 for regression ($4.8\times$ better), and a deployable train-derived calibration makes this practical without test-time ground truth. The model is genuinely action-controllable (steering drives scene displacement, Spearman $ρ= 0.81$, vs $-0.18$ for regression). We trace limited single-pass motion to a shared-present anchor and engineer a compact 1.7M-parameter "jump" model that recovers full ground-truth motion magnitude ($1.02\times$ GT), where single-pass models capture less than half.