스펙트럴 어텐션 스티어링을 통한 프롬프트 강조

Spectral Attention Steering for Prompt Highlighting

어텐션 스티어링은 모델의 집중 영역을 제어하는 중요한 기술로, 사용자가 지정한 텍스트를 우선시하는 프롬프트 강조와 같은 기능을 가능하게 합니다. 그러나 기존의 어텐션 스티어링 방법은 전체 어텐션 행렬을 명시적으로 저장해야 하므로, FlashAttention과 같은 메모리 효율적인 구현 방식과 호환되지 않습니다. 본 논문에서는 Spectral Editing Key Amplification (SEKA)이라는 학습이 필요 없는 스티어링 방법을 제안합니다. SEKA는 어텐션 계산 전에 키 임베딩을 직접 수정하여 이 문제를 해결합니다. SEKA는 스펙트럴 분해를 사용하여 키 임베딩을 특정 토큰에 대한 어텐션 점수를 증폭시키는 잠재 공간 방향으로 조정합니다. 이를 확장하여, 프롬프트의 의미적 의도에 따라 여러 전문가 서브 공간을 동적으로 결합하는 쿼리 적응형 방식인 Adaptive SEKA (AdaSEKA)를 제안합니다. 실험 결과, 제안하는 두 방법 모두 표준 스티어링 벤치마크에서 강력한 기본 모델보다 훨씬 뛰어난 성능을 보였으며, 최적화된 어텐션과 호환되면서 훨씬 낮은 지연 시간과 메모리 오버헤드를 추가합니다.

Attention steering is an important technique for controlling model focus, enabling capabilities such as prompt highlighting, where the model prioritises user-specified text. However, existing attention steering methods require explicit storage of the full attention matrix, making them incompatible with memory-efficient implementations like FlashAttention. We introduce Spectral Editing Key Amplification (SEKA), a training-free steering method that tackles this by directly editing key embeddings before attention computation. SEKA uses spectral decomposition to steer key embeddings towards latent directions that amplify attention scores for certain tokens. We extend this to Adaptive SEKA (AdaSEKA), a query-adaptive variant that uses a training-free routing mechanism to dynamically combine multiple expert subspaces based on the prompt's semantic intent. Our experiments show both methods significantly outperform strong baselines on standard steering benchmarks while adding much lower latency and memory overhead, in compatibility with optimised attention.