SCoPE: 시야선 좌표 기반 위치 인코딩을 위한 비디오 디퓨전 트랜스포머

SCoPE: Sightline-Coordinate Positional Encoding for Video Diffusion Transformers

비디오 디퓨전 트랜스포머는 토큰을 픽셀-시간 그리드의 위치를 기준으로 처리합니다. 즉, 텐서 내의 주소를 사용하는 것이지 실제 세계 좌표를 사용하는 것은 아닙니다. 우리가 원하는 주소는 토큰이 나타내는 실제 세계 점이며, 이는 아직 생성되지 않은 표면에 존재합니다. 또한 사용자가 경로를 지정하면 카메라 광선은 고정됩니다. 따라서 SCoPE는 광선을 두 번째 위치 좌표로 취급하며, 카메라 제어는 추가 모듈이 아닌 좌표 시스템의 속성이 됩니다. 광선 정보는 사전 학습된 어텐션 메커니즘의 쿼리와 키에 추가되고, 스코어 계산에는 두 광선만 사용하는 항이 포함됩니다. 이 방법은 선형 기하학의 역수 곱으로 표현되며, 이는 두 개의 시야선이 얼마나 가깝게 만나는지를 측정합니다. Normalize-Gate-Inject를 통해 다양한 거리 및 자세 정보 소스에 대해 단일 인코딩을 학습할 수 있습니다. SCoPE는 기존 DiT 모델을 변경하지 않고 적용 가능하며, 0.1% 미만의 새로운 파라미터를 추가합니다. Wan2.2 데이터셋에서 5B 및 14B 모델로 동일한 데이터와 예산을 사용하여 SCoPE는 모든 카메라 제어 가능성 및 충실도 지표를 개선하고, 모든 폐루프 재방문 지표에서 가장 우수한 성능을 보이며, 모델 크기가 커질수록 그 격차가 더욱 벌어집니다. 14B 모델에서 회전 오류는 최적의 기준 모델보다 29% 감소하고, FVD(Fréchet Video Distance)는 43% 감소했습니다.

Video diffusion transformers address their tokens by position on the pixel-time grid: an address in the tensor, not in the world. The address we would want, the world point a token depicts, lies on a surface not yet generated, while its camera ray is fixed once the user specifies a trajectory. SCoPE therefore treats the ray as a second positional coordinate, and camera control becomes a property of the coordinate system, not an added module. The ray is added to the pretrained attention's queries and keys, and the score gains a term that reads the two rays alone. Its canonical form, the reciprocal product of line geometry, measures how nearly two lines of sight meet. Normalize-Gate-Inject makes a single encoding trainable across metric and up-to-scale pose sources. The retrofit keeps RoPE bit-exact, starts from the unchanged pretrained DiT, and adds under 0.1/% new parameters. On Wan2.2 at 5B and 14B under matched data and budget, SCoPE improves every camera-controllability and fidelity metric, leads all closed-loop revisit metrics, and shows widening margins with model size. At 14B, rotation error falls 29/% and FVD 43/% below the strongest baseline.