내용 대 형식: 사회경제적 배경에 따른 작문 점수 격차를 유발하는 요인은 무엇인가? 생성 패널 접근법

Content vs. Form: What Drives the Writing Score Gap Across Socioeconomic Backgrounds? A Generated Panel Approach

다양한 사회경제적 배경을 가진 학생들은 시험 점수에서 지속적인 격차를 보이며, 이러한 격차는 나중에 교육 및 노동 시장에서의 불평등한 결과로 이어질 수 있습니다. 많은 평가에서 학생들의 성과는 단순히 학생들이 무엇을 알고 있는지를 반영하는 것뿐만 아니라, 그 지식을 얼마나 효과적으로 전달할 수 있는지를 보여줍니다. 이러한 구별은 특히 작문 평가에서 중요합니다. 작문 평가에서는 학생들의 아이디어의 내용과 그 아이디어가 표현되는 방식 모두에 점수가 부여되기 때문입니다. 결과적으로 관찰되는 점수 격차는 학생들의 근본적인 내용의 차이와 표현 능력의 차이를 혼합한 것일 수 있습니다. 따라서 핵심 질문은 사회경제적 지위(SES)에 따른 점수 격차 중 얼마나 많은 부분이 학생들이 무엇을 말하는지, 그리고 어떻게 말하는지에 대한 차이로 인해 발생하는가입니다. 우리는 미국 중학교 및 고등학생들이 작성한 설득력 있는 에세이의 방대한 데이터베이스를 사용하여 이 질문을 연구합니다. 우리는 대규모 언어 모델을 활용하여 각 에세이의 다양한 스타일 변형을 생성하는 새로운 측정 전략을 도입합니다. 이러한 재작성은 기본적인 논거를 유지하면서 표면적인 표현을 체계적으로 변경하여, 스타일의 통제된 내부 변동을 도입하는 "생성 패널"을 만듭니다. 이러한 접근 방식을 통해 우리는 작문 점수의 SES 격차를 내용과 스타일의 기여로 분해할 수 있습니다. 우리는 1~6 척도에서 0.67점의 SES 격차를 발견했습니다. 약 69%의 격차는 에세이 내용의 품질 차이로 인한 것이며, 스타일 차이는 26%의 격차를 설명합니다. 나머지 5%는 SES 그룹 간의 평가 기준 차이로 인한 것입니다. 이러한 경향은 인구 통계학적 하위 그룹 및 작문 과제 전반에 걸쳐 안정적으로 나타나는 것 같습니다. 더욱 광범위하게, 우리의 접근 방식은 대규모 언어 모델이 관찰 데이터에서 통제된 변동을 생성하는 데 어떻게 사용될 수 있는지 보여주며, 이를 통해 연구자들은 그렇지 않으면 얽혀 있는 다양한 요인의 기여도를 분리하고 정량화할 수 있습니다.

Students from different socioeconomic backgrounds exhibit persistent gaps in test scores, gaps that can translate into unequal educational and labor-market outcomes later in life. In many assessments, performance reflects not only what students know, but also how effectively they can communicate that knowledge. This distinction is especially salient in writing assessments, where scores jointly reward the substance of students' ideas and the way those ideas are expressed. As a result, observed score gaps may conflate differences in underlying content with differences in expressive skill. A central question, therefore, is how much of the socioeconomic-status (SES) gap in scores is driven by differences in what students say versus how they say it. We study this question using a large corpus of persuasive essays written by U.S. middle- and high-school students. We introduce a new measurement strategy that separates content from style by leveraging large language models to generate multiple stylistic variants of each essay. These rewrites preserve the underlying arguments while systematically altering surface expression, creating a "generated panel" that introduces controlled within-essay variation in style. This approach allows us to decompose SES gaps in writing scores into contributions from content and style. We find an SES gap of 0.67 points on a 1-6 scale. Approximately 69% of the gap is attributable to differences in essay content quality, Style differences account for 26% of the gap, and differences in evaluation standards across SES groups account for the remaining 5%. These patterns seems stable across demographic subgroups and writing tasks. More broadly, our approach shows how large language models can be used to generate controlled variation in observational data, enabling researchers to isolate and quantify the contributions of otherwise entangled factors.