정제 및 순화: 조건부 표현 학습을 위한 영공간 잡음 제거 및 직교 기저 최적화

Refine and Purify: Orthogonal Basis Optimization with Null-Space Denoising for Conditional Representation Learning

조건부 표현 학습은 맞춤형 작업을 위해 기준에 특화된 특징을 추출하는 것을 목표로 한다. 최근 연구들은 조건부 표현을 얻기 위해 대규모 언어 모델(LLM)이 생성한 텍스트 기저로 형성된 조건부 특징 부분공간에 보편적 특징을 투영하는 방식을 사용한다. 그러나 이러한 방법은 부분공간 기저에 대한 민감성과 부분공간 간 간섭에 대한 취약성이라는 두 가지 주요 한계에 직면해 있다. 이러한 문제를 해결하기 위해 본 논문에서는 적응형 직교 기저 최적화(AOBO)와 영공간 잡음 제거 투영(NSDP)을 통합한 새로운 프레임워크인 OD-CRL을 제안한다. 구체적으로 AOBO는 곡률 기반 절단을 적용한 특이값 분해를 통해 직교 의미 기저를 구성한다. NSDP는 관련 없는 부분공간의 영공간(null space)에 임베딩을 투영하여 목표하지 않은 의미 간섭을 억제한다. 맞춤형 클러스터링, 맞춤형 분류, 맞춤형 검색 작업에 걸친 광범위한 실험을 통해 OD-CRL이 뛰어난 일반화 능력과 함께 새로운 최고 수준의 성능(SOTA)을 달성함을 입증하였다.

Conditional representation learning aims to extract criterion-specific features for customized tasks. Recent studies project universal features onto the conditional feature subspace spanned by an LLM-generated text basis to obtain conditional representations. However, such methods face two key limitations: sensitivity to subspace basis and vulnerability to inter-subspace interference. To address these challenges, we propose OD-CRL, a novel framework integrating Adaptive Orthogonal Basis Optimization (AOBO) and Null-Space Denoising Projection (NSDP). Specifically, AOBO constructs orthogonal semantic bases via singular value decomposition with a curvature-based truncation. NSDP suppresses non-target semantic interference by projecting embeddings onto the null space of irrelevant subspaces. Extensive experiments conducted across customized clustering, customized classification, and customized retrieval tasks demonstrate that OD-CRL achieves a new state-of-the-art performance with superior generalization.