디퓨전 언어 모델을 활용한 프롬프트 최적화

Prompt Optimization Via Diffusion Language Models

본 논문에서는 디퓨전 언어 모델(DLM)을 활용하여 시스템 프롬프트를 반복적으로 개선하는 디퓨전 기반 프롬프트 최적화 프레임워크를 제안합니다. 사용자 쿼리, 모델 응답, 그리고 선택적인 피드백을 포함하는 상호 작용 기록을 조건으로 사용하여, 본 방법은 그래디언트 접근 없이, 다운스트림 언어 모델을 수정하지 않고도 유연하고 세분화된 수준의 프롬프트 업데이트를 가능하게 합니다. 다양한 벤치마크(예: τ-bench, SST-2, SST-5)에서, DLM으로 최적화된 프롬프트는 동결된 대상 LLM(예: GPT-4o-mini)의 성능을 지속적으로 향상시키는 것으로 나타났습니다. 또한, 적절한 디퓨전 단계 수가 정교함의 품질과 안정성 간의 최적의 균형을 제공한다는 것을 확인했습니다. 이러한 결과는 디퓨전 기반 프롬프트 최적화가 반복적인 프롬프트 개선을 통해 LLM의 성능을 향상시키는 데 있어 일반적이고, 모델에 독립적이며, 확장 가능한 접근 방식임을 보여줍니다.

We propose a diffusion-based framework for prompt optimization that leverages Diffusion Language Models (DLMs) to iteratively refine system prompts through masked denoising. By conditioning on interaction traces, including user queries, model responses, and optional feedback, our method enables flexible, span-level prompt updates without requiring gradient access or modifying the downstream language model. Across diverse benchmarks (e.g., $τ$-bench, SST-2, SST-5), DLM-optimized prompts consistently improve the performance of a frozen target LLM (e.g., GPT-4o-mini). We further show that moderate diffusion step counts provide the best balance between refinement quality and stability. These results highlight diffusion-based prompt optimization as a general, model-agnostic, and scalable approach for enhancing LLM performance through iterative prompt refinement.