LLM의 효율적인 짧은 텍스트 생성을 위한 홀로그래픽 특성 연구

Towards the Holographic Characteristic of LLMs for Efficient Short-text Generation

최근 대규모 언어 모델(LLM)의 발전은 in-context 학습 능력과 연쇄적 사고 능력에 대한 연구 관심을 불러일으켰습니다. 그러나 LLM의 강력한 생성 능력을 특징짓는 구체적인 측면에 대한 연구는 아직 부족합니다. 본 논문은 LLM이 보이는 생성 특징을 심층적으로 분석하는 것을 목표로 합니다. 연구 결과, 언어 모델은 생성 과정 초기에 대상 측의 핵심 키워드를 포착하는 경향이 있음을 확인했습니다. 이러한 현상을 우리는 언어 모델의 "홀로그래픽 특성"이라고 명명합니다. 본 연구는 이러한 특성을 탐구하고 언어 모델의 추론 효율성을 더욱 향상시키기 위해, "HOLO"라는 플러그인을 제안합니다. HOLO는 홀로그래픽 특성을 활용하여 제한된 생성 단계 내에서 언어 모델로부터 대상 측의 핵심 키워드를 추출하고, 이를 병렬적인 어휘 제약 텍스트 생성 방법으로 보완합니다. HOLO의 효과성을 검증하기 위해, 다양한 아키텍처와 규모의 언어 모델을 대상으로 짧은 텍스트 생성 시나리오에서 대규모 실험을 진행했습니다. 실험 결과는 HOLO가 자동 평가 지표와 인간 평가 지표 모두에서 기존 방법과 유사한 성능을 달성하며, 홀로그래픽 특성의 잠재력을 보여줍니다.

The recent advancements in Large Language Models (LLMs) have attracted interest in exploring their in-context learning abilities and chain-of-thought capabilities. However, there are few studies investigating the specific traits related to the powerful generation capacity of LLMs. This paper aims to delve into the generation characteristics exhibited by LLMs. Through our investigation, we have discovered that language models tend to capture target-side keywords at the beginning of the generation process. We name this phenomenon the Holographic Characteristic of language models. For the purpose of exploring this characteristic and further improving the inference efficiency of language models, we propose a plugin called HOLO, which leverages the Holographic Characteristic to extract target-side keywords from language models within a limited number of generation steps and complements the sentence with a parallel lexically constrained text generation method. To verify the effectiveness of HOLO, we conduct massive experiments on language models of varying architectures and scales in the short-text generation scenario. The results demonstrate that HOLO achieves comparable performance to the baselines in terms of both automatic and human-like evaluation metrics and highlight the potential of the Holographic Characteristic.