훈련 없이 다양한 아키텍처 간에 작업 벡터를 전송하는 방법

Transporting Task Vectors across Different Architectures without Training

대규모 사전 훈련된 모델을 다운스트림 작업에 적용할 때, 종종 작업별 파라미터 업데이트가 발생하며, 이는 각 모델 변형에 대해 다시 학습하는 데 비용이 많이 듭니다. 최근 연구에서는 이러한 업데이트가 동일한 아키텍처를 가진 모델 간에 전송될 수 있다는 점이 밝혀졌지만, 서로 다른 폭을 가진 모델 간의 전송은 아직 널리 연구되지 않았습니다. 본 연구에서는 Theseus라는 훈련이 필요 없는 방법을 소개하여, 이질적인 모델 간에 작업별 업데이트를 전송합니다. 우리는 파라미터를 직접 일치시키는 대신, 작업 업데이트가 중간 표현에 미치는 기능적 영향을 특징짓습니다. 우리는 작업 벡터 전송을 관찰된 활성화 값에 대한 기능 일치 문제로 공식화하고, 직교 프로크루스테스 분석을 통해 표현 공간을 정렬하면 업데이트의 기하학적 구조를 유지하는 안정적인 폐쇄형 솔루션을 갖는다는 것을 보여줍니다. 우리는 다양한 폭의 비전 및 언어 모델에서 Theseus를 평가하여 추가적인 훈련이나 역전파 없이 강력한 기본 모델보다 일관된 성능 향상을 보였습니다. 우리의 결과는 작업 식별이 기능적으로 정의될 때, 작업 업데이트가 의미 있게 아키텍처 간에 전송될 수 있음을 보여줍니다.

Adapting large pre-trained models to downstream tasks often produces task-specific parameter updates that are expensive to relearn for every model variant. While recent work has shown that such updates can be transferred between models with identical architectures, transferring them across models of different widths remains largely unexplored. In this work, we introduce Theseus, a training-free method for transporting task-specific updates across heterogeneous models. Rather than matching parameters directly, we characterize a task update by the functional effect it induces on intermediate representations. We formalize task-vector transport as a functional matching problem on observed activations and show that, after aligning representation spaces via orthogonal Procrustes analysis, it admits a stable closed-form solution that preserves the geometry of the update. We evaluate Theseus on vision and language models across different widths, showing consistent improvements over strong baselines without additional training or backpropagation. Our results show that task updates can be meaningfully transferred across architectures when task identity is defined functionally rather than parametrically.