소규모 언어 모델이 LLM 프롬프트의 의미적 모호성을 해결하는 데 기여

Small Language Model Helps Resolve Semantic Ambiguity of LLM Prompt

대규모 언어 모델(LLM)은 뛰어난 지시 따르기 능력 덕분에 다양한 복잡한 추론 작업에 점점 더 많이 활용되고 있습니다. 그러나 모델의 성능은 사용자의 입력 프롬프트의 개방적인 특성에 크게 의존합니다. 자연어 프롬프트는 종종 올바른 구문 규칙을 따르지 않아 여러 가지 해석을 가능하게 하는 모호한 쿼리를 생성합니다. 이러한 모호한 프롬프트는 모델이 질문에 대한 올바른 추론 경로를 선택하는 데 혼란을 야기합니다. 기존 연구에서는 LLM 추론 과정에서 쿼리 편집을 적용하여 이러한 문제를 해결하려 하지만, 모호성의 근본 원인을 명시적으로 해결하지는 않습니다. 이러한 한계를 극복하기 위해, 우리는 명시적인 프롬프트 해독을 통한 사전 추론 프롬프트 최적화 메커니즘을 제안합니다. 특히, 프롬프트 내의 의미적 위험을 식별하고, 다양한 관점에서 일관성을 검사하며, 발생하는 의미적 충돌을 해결합니다. 마지막으로, 해결된 모호성을 논리적으로 구조화된 방식으로 정리하여 LLM의 입력으로 제공합니다. 우리의 방법은 의미적 모호성을 명시적으로 해결함으로써, 의미적으로 중요한 토큰에 더욱 집중된 주의 분포를 생성할 수 있습니다. 또한, 효율적인 연산 능력을 활용하기 위해 소규모 언어 모델(SLM)을 프롬프트 해독의 주요 실행자로 활용합니다. 여러 벤치마크에 대한 포괄적인 실험을 통해, 우리의 방법이 추론 성능을 2.5점 향상시키지만 비용은 0.02달러에 불과함을 보여줍니다. 우리의 연구는 LLM 추론의 내부 메커니즘을 방해하지 않고 효과적인 프롬프트 최적화 방법으로서 명시적인 프롬프트 해독을 장려합니다.

Large language models (LLMs) are increasingly utilized in various complex reasoning tasks due to their excellent instruction following capability. However, the model's performance is highly dependent on the open-ended characteristics of the users' input prompt. Natural prompts often do not follow proper syntactic rules, which creates ambiguous queries that yield multiple interpretations. Such ambiguous prompts confuse the model in choosing the correct reasoning paths to answer questions. Prior works address this challenge by applying query editing during the LLM inference process without explicitly solving the root cause of the ambiguity. To address this limitation, we propose a pre-inference prompt optimization mechanism via explicit prompt disambiguation. Particularly, we identify semantic risks in the prompt, check their multi-perspective consistency, and resolve any semantic conflicts that arise. Finally, we organize the resolved ambiguities in a logically structured manner as a clean input to the LLM. By explicitly resolving semantic ambiguity, our method can produce a more focused attention distribution to the semantically essential tokens. We also leverage small language models (SLMs) as the main executor of prompt disambiguation to benefit from their efficient computation. Through comprehensive experiments on multiple benchmarks, we demonstrate that our method improves reasoning performance by 2.5 points at a cost of only \$0.02. Our study promotes explicit prompt disambiguation as an effective prompt optimization method without disturbing the internal mechanism of LLM inference.