ChatGPT는 정말 현대 중국 시를 이해할 수 있는가?

Can ChatGPT Really Understand Modern Chinese Poetry?

ChatGPT는 시 생성 및 번역 능력에서 놀라운 성과를 보여주었지만, 시를 진정으로 이해하는 능력은 아직 탐구되지 않았습니다. 기존의 시 관련 연구는 실험 결과를 분석하는 데 그쳤으며, 이해의 근본적인 문제에 대해서는 다루지 않았습니다. 본 논문에서는 ChatGPT의 현대 시 이해도를 평가하기 위한 종합적인 프레임워크를 제시합니다. 우리는 전문 시인들과 협력하여 ChatGPT가 다양한 시인들의 현대 중국 시를 해석하는 방식을 여러 측면에서 평가했습니다. 평가 결과, ChatGPT의 해석이 원작 시인의 의도와 일치하는 경우가 73% 이상으로 나타났습니다. 그러나 특히 시적인 표현을 포착하는 측면에서 ChatGPT의 이해도는 만족스럽지 않은 것으로 나타났습니다. 이러한 결과는 제안된 평가 프레임워크의 효과성과 필요성을 강조합니다. 본 연구는 ChatGPT의 현대 시 이해 능력을 평가하는 동시에, LLM과 시 관련 작업에 대한 향후 연구를 위한 견고한 기반을 마련합니다.

ChatGPT has demonstrated remarkable capabilities on both poetry generation and translation, yet its ability to truly understand poetry remains unexplored. Previous poetry-related work merely analyzed experimental outcomes without addressing fundamental issues of comprehension. This paper introduces a comprehensive framework for evaluating ChatGPT's understanding of modern poetry. We collaborated with professional poets to evaluate ChatGPT's interpretation of modern Chinese poems by different poets along multiple dimensions. Evaluation results show that ChatGPT's interpretations align with the original poets' intents in over 73% of the cases. However, its understanding in certain dimensions, particularly in capturing poeticity, proved to be less satisfactory. These findings highlight the effectiveness and necessity of our proposed framework. This study not only evaluates ChatGPT's ability to understand modern poetry but also establishes a solid foundation for future research on LLMs and their application to poetry-related tasks.