PlaneCycle: 어댑터 없이 2D 기반 모델의 구조 변경 없이 3D로 확장하는 학습 불필요한 방법

PlaneCycle: Training-Free 2D-to-3D Lifting of Foundation Models Without Adapters

대규모 2D 기반 모델은 뛰어난 일반화 능력을 보여주지만, 이를 3D 볼륨 데이터로 확장하는 데에는 일반적으로 재학습, 어댑터 또는 아키텍처 재설계가 필요합니다. 본 논문에서는 아키텍처에 구애받지 않고 2D 기반 모델을 3D로 확장하는 데 사용되는, 학습 및 어댑터가 필요 없는 방법인 PlaneCycle을 소개합니다. PlaneCycle은 네트워크 깊이에 걸쳐 HW, DW, DH 평면에 공간 집계를 순환적으로 분산시켜 3D 융합을 점진적으로 수행하면서 사전 학습된 모델의 유도 편향을 유지합니다. 이 방법은 추가적인 파라미터를 도입하지 않으며, 임의의 2D 네트워크에 적용할 수 있습니다. 사전 학습된 DINOv3 모델을 사용하여 PlaneCycle을 3D 분류 6개 및 3D 분할 3개 벤치마크에서 평가했습니다. 어떠한 학습 없이도, PlaneCycle을 통해 생성된 모델은 내재적인 3D 융합 능력을 보여주며, 선형 탐색을 통해 기존의 2D 기반 모델과 강력한 3D 모델을 능가하며, 완전하게 학습된 모델의 성능에 근접합니다. 전체 미세 조정 시, PlaneCycle은 기존의 3D 아키텍처와 동등한 성능을 보이며, 이는 2D 기반 모델을 3D로 확장하는 데 있어 효과적이고 실용적인 방법임을 시사합니다. 이러한 결과는 사전 학습된 2D 기반 모델에서 구조 변경이나 재학습 없이 3D 기능을 활용할 수 있음을 보여줍니다. 코드: https://github.com/HINTLab/PlaneCycle

Large-scale 2D foundation models exhibit strong transferable representations, yet extending them to 3D volumetric data typically requires retraining, adapters, or architectural redesign. We introduce PlaneCycle, a training-free, adapter-free operator for architecture-agnostic 2D-to-3D lifting of foundation models. PlaneCycle reuses the original pretrained 2D backbone by cyclically distributing spatial aggregation across orthogonal HW, DW, and DH planes throughout network depth, enabling progressive 3D fusion while preserving pretrained inductive biases. The method introduces no additional parameters and is applicable to arbitrary 2D networks. Using pretrained DINOv3 models, we evaluate PlaneCycle on six 3D classification and three 3D segmentation benchmarks. Without any training, the lifted models exhibit intrinsic 3D fusion capability and, under linear probing, outperform slice-wise 2D baselines and strong 3D counterparts, approaching the performance of fully trained models. With full fine-tuning, PlaneCycle matches standard 3D architectures, highlighting its potential as a seamless and practical 2D-to-3D lifting operator. These results demonstrate that 3D capability can be unlocked from pretrained 2D foundation models without structural modification or retraining. Code is available at https://github.com/HINTLab/PlaneCycle.