무작위 개념 주입을 통한 LLM 다양성 향상 연구

Addressing LLM Diversity by Infusing Random Concepts

대규모 언어 모델(LLM)은 다양한 출력을 생성하는 데 한계가 있는 것으로 알려져 있습니다. 본 연구에서는 프롬프트에 무작위 개념을 주입하는 것이 생성된 출력의 다양성을 향상시킬 수 있는지 조사합니다. 제안된 방법을 검증하기 위해, LLM에 "10명의 할리우드 배우 이름을 대시오"와 같은 질문을 던지고, 결과적으로 생성된 LLM 출력의 다양성 지표를 분석하는 체계적인 평가 프로토콜을 설계했습니다. 여러 LLM에 대한 실험 결과, 프롬프트와 관련 없는 무작위 단어/문장을 앞에 추가하면 LLM 출력의 다양성이 증가하는 것으로 나타났습니다. 이러한 유망한 결과와 평가 프로토콜은 향후 연구를 위한 흥미로운 가능성을 제시하며, 예를 들어 LLM에 무작위성을 주입하는 방법을 다른 영역에 어떻게 적용할 수 있는지 탐구할 수 있습니다. 또한, 이 평가 프로토콜은 LLM 다양성을 보다 체계적으로 벤치마킹하는 연구에 영감을 줄 수 있습니다.

Large language models (LLMs) are known to produce outputs with limited diversity. In this work, we study whether infusing random concepts in the prompts can improve the diversity of the generated outputs. To benchmark the approach, we design a systematic evaluation protocol which involves prompting an LLM with questions of the form "Name 10 Hollywood actors", and analyzing diversity measures of the resulting LLM outputs. Our experiments on multiple LLMs show that prepending random words/sentences unrelated to the prompt result in greater diversity in the outputs of LLMs. We believe that this promising result and the evaluation protocol opens up interesting avenues for future work, such as how infusing randomness into LLMs could be applied to other domains. Further, the evaluation protocol could also inspire research into benchmarking LLM diversity more systematically.