LLM 생성 텍스트의 설득적 언어 차이 분석: 고정관념적인 성별 패턴 규명

Analysing Differences in Persuasive Language in LLM-Generated Text: Uncovering Stereotypical Gender Patterns

대규모 언어 모델(LLM)은 일상적인 의사소통 작업, 특히 영향력과 설득력을 목표로 하는 대인 메시지 작성에 점점 더 많이 사용되고 있습니다. 이전 연구에서 LLM이 인간을 성공적으로 설득하고 설득적 언어를 증폭시킬 수 있다는 점이 밝혀졌습니다. 따라서 사용자 지침이 설득적 언어 생성에 미치는 영향을 이해하고, 생성된 설득적 언어가 예를 들어, 서로 다른 그룹을 대상으로 할 때 어떻게 다른지 이해하는 것이 중요합니다. 본 연구에서는 수신자의 성별, 발신자의 의도 또는 출력 언어가 설득적 언어 생성에 미치는 영향을 평가하기 위한 프레임워크를 제안합니다. 쌍별 프롬프트 지침을 사용하여 13개의 LLM과 16개의 언어를 평가했습니다. 사회 심리학 및 커뮤니케이션 과학에 기반한 LLM-as-judge 설정을 사용하여 모델 응답을 19가지 범주의 설득적 언어로 평가했습니다. 우리의 결과는 모든 모델에서 생성된 설득적 언어에 상당한 성별 차이가 있음을 보여줍니다. 이러한 패턴은 사회 심리학 및 사회 언어학에서 기록된 성별 고정관념적 언어 경향과 일치하는 편향을 반영합니다.

Large language models (LLMs) are increasingly used for everyday communication tasks, including drafting interpersonal messages intended to influence and persuade. Prior work has shown that LLMs can successfully persuade humans and amplify persuasive language. It is therefore essential to understand how user instructions affect the generation of persuasive language, and to understand whether the generated persuasive language differs, for example, when targeting different groups. In this work, we propose a framework for evaluating how persuasive language generation is affected by recipient gender, sender intent, or output language. We evaluate 13 LLMs and 16 languages using pairwise prompt instructions. We evaluate model responses on 19 categories of persuasive language using an LLM-as-judge setup grounded in social psychology and communication science. Our results reveal significant gender differences in the persuasive language generated across all models. These patterns reflect biases consistent with gender-stereotypical linguistic tendencies documented in social psychology and sociolinguistics.