LLM 리뷰: 블라인드 피어 리뷰 피드백을 통한 창의적 글쓰기 향상

LLM Review: Enhancing Creative Writing via Blind Peer Review Feedback

대규모 언어 모델(LLM)은 종종 창의적인 콘텐츠 생성에 어려움을 겪으며, 상호 작용을 통해 추론 능력을 향상시키는 다중 에이전트 프레임워크는 역설적으로 콘텐츠의 획일화를 유발하여 창의성을 저해할 수 있습니다. 본 연구에서는 블라인드 피어 리뷰를 구현한 LLM Review 프레임워크를 소개합니다. 이 프레임워크에서 에이전트들은 서로에게 구체적인 피드백을 주고받으면서 독립적으로 수정 작업을 수행하여, 창의적인 방향성을 유지합니다. 엄격한 평가를 위해, LLM을 심사위원으로 활용하는 방법, 인간의 주석, 그리고 규칙 기반의 참신성 지표를 결합한 과학 소설 글쓰기 데이터셋인 SciFi-100을 제안합니다. 실험 결과, LLM Review 프레임워크는 기존의 다중 에이전트 모델보다 일관되게 우수한 성능을 보였으며, 본 프레임워크를 사용하는 작은 모델이 더 큰 단일 에이전트 모델보다 뛰어난 성능을 보이는 것으로 나타났습니다. 이는 상호 작용 구조가 모델의 크기를 대체할 수 있음을 시사합니다.

Large Language Models (LLMs) often struggle with creative generation, and multi-agent frameworks that improve reasoning through interaction can paradoxically hinder creativity by inducing content homogenization. We introduce LLM Review, a peer-review-inspired framework implementing Blind Peer Review: agents exchange targeted feedback while revising independently, preserving divergent creative trajectories. To enable rigorous evaluation, we propose SciFi-100, a science fiction writing dataset with a unified framework combining LLM-as-a-judge scoring, human annotation, and rule-based novelty metrics. Experiments demonstrate that LLM Review consistently outperforms multi-agent baselines, and smaller models with our framework can surpass larger single-agent models, suggesting interaction structure may substitute for model scale.