파라미터 미세 조정을 넘어: 노드 분류를 위한 테스트 시간 표현 개선

Beyond Parameter Finetuning: Test-Time Representation Refinement for Node Classification

그래프 신경망은 종종 데이터 분포가 다른 테스트 환경에서 성능 저하를 보입니다. 테스트 시간 학습(TTT)은 유망한 해결책을 제공하지만, 기존의 파라미터 미세 조정(PaFT) 방식은 재앙적 망각 현상으로 인해 실제 적용에 어려움이 있습니다. 본 논문에서는 모델 파라미터가 아닌 잠재 표현으로 적응 대상을 전환하는 새로운 테스트 시간 표현 미세 조정 프레임워크인 TTReFT를 제안합니다. 구체적으로, TTReFT는 다음과 같은 세 가지 주요 혁신을 통해 이를 달성합니다. (1) 특정 개입을 위한 불확실성 기반 노드 선택, (2) 사전 학습된 지식을 보존하는 저차원 표현 개입, (3) 노드 선택 방식을 수용하도록 마스크 전략을 동적으로 조정하는 개입 인식 마스크 오토인코더. 이론적으로, TTReFT가 OOD 환경에서 작동하는 것을 보장합니다. 광범위한 실험 결과, 다섯 가지 벤치마크 데이터 세트에 대한 실험을 통해 TTReFT가 일관되고 우수한 성능을 달성함을 보여줍니다. 본 연구는 그래프 TTT를 위한 새로운 패러다임으로서 표현 미세 조정을 확립하며, 이론적 근거와 함께 실제 배포를 위한 즉각적인 실용성을 제공합니다.

Graph Neural Networks frequently exhibit significant performance degradation in the out-of-distribution test scenario. While test-time training (TTT) offers a promising solution, existing Parameter Finetuning (PaFT) paradigm suffer from catastrophic forgetting, hindering their real-world applicability. We propose TTReFT, a novel Test-Time Representation FineTuning framework that transitions the adaptation target from model parameters to latent representations. Specifically, TTReFT achieves this through three key innovations: (1) uncertainty-guided node selection for specific interventions, (2) low-rank representation interventions that preserve pre-trained knowledge, and (3) an intervention-aware masked autoencoder that dynamically adjust masking strategy to accommodate the node selection scheme. Theoretically, we establish guarantees for TTReFT in OOD settings. Empirically, extensive experiments across five benchmark datasets demonstrate that TTReFT achieves consistent and superior performance. Our work establishes representation finetuning as a new paradigm for graph TTT, offering both theoretical grounding and immediate practical utility for real-world deployment.