텍스트에서 점수로: 대규모 언어 모델에서 에세이 품질 표현의 등장 과정을 추적하다

From Texts to Scores: Tracing the Emergence of Essay Quality Representations in Large Language Models

최근 대규모 언어 모델(LLM)의 발전은 자동 에세이 채점(AES)에 큰 변화를 가져왔지만, LLM 기반 채점 시스템의 내부 작동 원리는 여전히 잘 이해되지 못하고 있습니다. 본 연구에서는 두 개의 영어 에세이 데이터셋(ASAP++, CSEE)과 하나의 포르투갈어 데이터셋(ENEM)을 사용하여 8개의 LLM에 대한 숨겨진 표현을 체계적으로 분석했습니다. 선형 탐색, 교차 프롬프트 일반화, 차원 축소 및 뉴런 수준의 분석을 통해 에세이 품질 정보가 LLM 표현 내에서 선형적으로 접근 가능한 형태로 인코딩되어 있다는 일관된 증거를 발견했습니다. 이러한 표현은 레이어를 거듭할수록 점진적으로 나타나며, 프롬프팅 전략에 강건하고, 채점 기준이 다름에도 불구하고 에세이 프롬프트 간에 부분적으로 전송됩니다. 또한, 비선형 탐색은 선형 탐색에 비해 미미하고 일관성 없는 개선 효과만 제공하며, 이는 대부분의 에세이 품질 정보가 이미 선형적으로 디코딩 가능하다는 것을 시사합니다. 우리는 또한 에세이 점수와 강한 상관 관계를 가지며 특정 개입에 민감하게 반응하는 '에세이 채점 뉴런'을 식별했습니다. 더욱이, 이러한 뉴런의 레이어별 분포는 에세이 길이에 따라 체계적으로 변화하며, 긴 에세이는 더 깊은 레이어를 더 많이 활용합니다. 전반적으로, 본 연구 결과는 LLM이 에세이 품질과 관련된 구조화된 표현을 인코딩한다는 증거를 제공하며, LLM 기반 AES 시스템의 해석 가능성에 대한 새로운 통찰력을 제시합니다.

Recent advances in Large Language Models (LLMs) have substantially transformed Automated Essay Scoring (AES), yet the internal mechanisms underlying LLM-based scoring remain poorly understood. In this work, we systematically analyze the hidden representations of eight LLMs across two English essay datasets (ASAP++, CSEE) and one Portuguese dataset (ENEM). Using linear probing, cross-prompt generalization, dimensionality reduction, and neuron-level analyses, we find consistent evidence that essay quality information is encoded in a linearly accessible form within LLM representations. These representations emerge progressively across layers, remain robust across prompting strategies, and partially transfer across essay prompts despite differences in scoring rubrics. In addition, nonlinear probes provide only marginal and inconsistent improvements over linear probes, suggesting that most essay quality information is already linearly decodable. We further identify individual ``essay scoring neurons'' whose activations strongly correlate with essay scores and whose behavior is sensitive to targeted intervention. Moreover, the layer-wise distribution of these neurons systematically shifts with essay length, with longer essays relying more heavily on deeper layers. Overall, our findings provide evidence that LLMs encode structured representations related to essay quality and offer new insights into the interpretability of LLM-based AES systems.