독일 ESG 보고서의 문장 수준 가독성 평가를 통한 소비자 역량 강화 방안 연구

Towards Empowering Consumers through Sentence-level Readability Scoring in German ESG Reports

지속 가능성이 경제 및 사회 전반에서 점점 더 중요해짐에 따라, 엄청난 양의 정보가 쏟아져 나오고 있으며, 소비자는 이러한 정보에 대한 신뢰할 수 있는 접근성이 필요합니다. 이러한 요구에 부응하기 위해, 기업들은 자발적이거나 법적으로 규제된 형태로 '환경, 사회, 지배구조(ESG)' 보고서를 발행하기 시작했습니다. 이러한 보고서는 재무 전문가뿐만 아니라 일반 대중에게도 제공되어야 합니다. 하지만 실제로 이러한 보고서가 충분히 명확하게 작성되어 있을까요? 본 연구에서는 기존의 독일 ESG 보고서 문장 수준 데이터셋에 크라우드 소싱을 통해 수집된 가독성 어노테이션을 추가했습니다. 분석 결과, 일반적으로 독일 원어민은 ESG 보고서의 문장을 읽기 쉬운 것으로 인식하지만, 가독성은 주관적인 요소에 따라 달라질 수 있음을 확인했습니다. 다양한 가독성 평가 방법을 적용하고, 예측 오류 및 인간 평가 순위와의 상관관계를 평가했습니다. 분석 결과, LLM 프롬프팅은 명확한 문장과 읽기 어려운 문장을 구별하는 데 잠재력이 있지만, 미세 조정된 트랜스포머 모델이 인간의 가독성 평가와 가장 낮은 오류를 보이는 것으로 나타났습니다. 여러 모델의 예측 결과를 평균하면 성능이 약간 향상될 수 있지만, 추론 속도는 느려집니다.

With the ever-growing urgency of sustainability in the economy and society, and the massive stream of information that comes with it, consumers need reliable access to that information. To address this need, companies began publishing so called Environmental, Social, and Governance (ESG) reports, both voluntarily and forced by law. To serve the public, these reports must be addressed not only to financial experts but also to non-expert audiences. But are they written clearly enough? In this work, we extend an existing sentence-level dataset of German ESG reports with crowdsourced readability annotations. We find that, in general, native speakers perceive sentences in ESG reports as easy to read, but also that readability is subjective. We apply various readability scoring methods and evaluate them regarding their prediction error and correlation with human rankings. Our analysis shows that, while LLM prompting has potential for distinguishing clear from hard-to-read sentences, a small finetuned transformer predicts human readability with the lowest error. Averaging predictions of multiple models can slightly improve the performance at the cost of slower inference.