좋은 글쓰기도 생성형이 될 수 있는가? 고품질 도서 미세 조정을 통해 구현된 전문가 수준의 AI 작문

Can Good Writing Be Generative? Expert-Level AI Writing Emerges through Fine-Tuning on High-Quality Books

창의적 글쓰기는 기계가 복제할 수 없는 고유의 목소리와 스타일을 필요로 하는 인간만의 고유한 영역으로 오랫동안 여겨져 왔다. 그러나 아주 적은 노력만으로 수천 명의 작가 스타일을 단 몇 초 만에 모방할 수 있는 생성형 AI의 등장으로 이러한 가정은 도전을 받고 있다. 이를 더 깊이 이해하기 위해 우리는 28명의 문예창작 석사(MFA) 작가(전문가)들이 비평가들의 찬사를 받은 50명의 작가 스타일을 모방하는 과제에서 3개의 대규모 언어 모델(LLM)과 경쟁하는 행동 실험을 수행했다. 28명의 전문가 심사위원과 131명의 일반인 심사위원이 수행한 블라인드 쌍대 비교 결과, 인컨텍스트(in-context) 프롬프팅 조건에서는 전문가들이 82.7%의 비율로 인간의 글을 선호했으나, 작가의 전집을 기반으로 미세 조정(fine-tuning)을 거친 후에는 AI에 대한 선호도가 62%로 역전되었다. 반면, 일반인 심사위원들은 일관되게 AI의 글을 선호했다. 전문 작가들과의 사후 인터뷰 결과, AI 글쓰기에 대한 본인들의 선호가 정체성의 위기를 유발하고 미적 자신감을 약화시켰으며, 무엇이 '좋은 글쓰기'인지에 대한 의문을 제기한 것으로 나타났다. 이러한 연구 결과는 AI의 창의적 한계에 대한 기존 담론에 도전하며 창의적 노동의 미래에 대한 근본적인 질문을 던진다.

Creative writing has long been considered a uniquely human endeavor, requiring voice and style that machines could not replicate. This assumption is challenged by Generative AI that can emulate thousands of author styles in seconds with negligible marginal labor. To understand this better, we conducted a behavioral experiment where 28 MFA writers (experts) competed against three LLMs in emulating 50 critically acclaimed authors. Based on blind pairwise comparisons by 28 expert judges and 131 lay judges, we find that experts preferred human writing in 82.7% of cases under the in-context prompting condition but this reversed to 62% preference for AI after fine-tuning on authors' complete works. Lay judges, however, consistently preferred AI writing. Debrief interviews with expert writers revealed that their preference for AI writing triggered an identity crisis, eroding aesthetic confidence and questioning what constitutes "good writing." These findings challenge discourse about AI's creative limitations and raise fundamental questions about the future of creative labor.