LLM 문맥 학습에서의 수치열 표현에 대한 그래프 신호 처리 관점

A Graph Signal Processing Perspective on Numerical Sequence Representations in LLM In-Context Learning

사전 학습된 대규모 언어 모델(LLM)은 텍스트로 직렬화된 시퀀스에 대한 수치 추론을 수행하는 문맥 학습 능력을 보여줍니다. 기존 연구에서는 이러한 형태의 수치 추론을 주로 예측 오류와 같은 출력 수준의 평가를 통해 파악하고 특성화했습니다. 그러나 LLM 표현 내에서 수치 정보가 어떻게 구성되는지에 대한 이해는 아직 부족합니다. 본 연구에서는 주의 메커니즘이 토큰 간 가중 그래프를 형성하며, 토큰의 숨겨진 상태(hidden states)가 해당 노드에서의 신호를 정의한다는 관점에서 그래프 신호 처리 방법을 적용하여 LLM 내부 구조를 분석했습니다. 정량적인 그래프 스펙트럼 진단 및 질적 토큰-그래프 시각화를 통해 입력 데이터의 동적 복잡성이 증가함에 따라 표현이 더욱 명확하게 분리되는 것을 확인했습니다. 단순한 입력은 더 강한 전역 연결성을 가진 토큰 그래프와 스펙트럼적으로 집중된 숨겨진 상태 신호를 생성하는 반면, 더 복잡한 입력은 더 국소적인 그래프와 넓은 스펙트럴 지원 및 더 높은 고주파 에너지의 숨겨진 상태 신호를 생성합니다. 이러한 결과들은 모델 계열에 걸쳐 보존되는 수치 문맥 학습과 관련된 체계적이고 문맥 의존적인 내부 특징을 보여줍니다.

Pretrained large language models (LLMs) have demonstrated in-context learning (ICL) capabilities for numerical inference over sequences serialized as text. Prior work has identified and characterized this form of numerical inference primarily through output-level evaluations such as prediction error. However, how numerical information is organized within LLM representations remains much less understood. To study this internal organization, we adopt a graph signal processing perspective in which attention induces a weighted graph over tokens, while token hidden states define signals on its nodes. Quantitative graph-spectral diagnostics and qualitative token-graph visualizations reveal that representations become more clearly differentiated by input dynamical complexity as context length increases. Simpler inputs produce attention-induced token graphs with stronger global connectivity and smoother, spectrally concentrated hidden-state signals, whereas more complex inputs produce more localized graphs and hidden-state signals with broader spectral support and greater high-frequency energy. Together, these findings point to systematic, context-dependent internal signatures associated with numerical ICL that are conserved across model families.