의도 인지 기반 속성화된 장문 질의 응답 성능 향상

Improving Attributed Long-form Question Answering with Intent Awareness

대규모 언어 모델(LLM)은 방대한 지식을 활용한 보고서 생성에 점점 더 많이 사용되고 있습니다. 그러나 이러한 모델은 다양한 학술 논문과 보고서로 학습되지만, 저자들이 이러한 문서를 작성하는 데 사용하는 추론 과정과 의도에 대해서는 노출되지 않습니다. 본 연구에서는 모델의 의도 인지 능력을 향상시키면 생성된 장문 보고서의 품질을 크게 향상시킬 수 있다는 가설을 제시합니다. 우리는 모델이 문서 작성 또는 인용에 필요한 잠재적인 의도를 보다 효과적으로 파악할 수 있도록 구조화되고 태그 기반의 방식을 개발하고 적용했습니다. 실험 결과, 추출된 의도는 LLM의 제로샷 생성 능력을 향상시키고, 더 작은 모델을 미세 조정하기 위한 고품질의 합성 데이터를 생성하는 데 기여하는 것으로 나타났습니다. 다양한 과학 보고서 생성 작업에서 실험을 진행한 결과, 대규모 모델과 소규모 모델 모두 기준 모델 대비 평균적으로 각각 +2.9점, +12.3점의 성능 향상을 보였습니다. 또한, 분석 결과 의도 인지 능력이 모델의 인용 사용을 향상시키고 보고서의 가독성을 크게 개선하는 것을 확인했습니다.

Large language models (LLMs) are increasingly being used to generate comprehensive, knowledge-intensive reports. However, while these models are trained on diverse academic papers and reports, they are not exposed to the reasoning processes and intents that guide authors in crafting these documents. We hypothesize that enhancing a model's intent awareness can significantly improve the quality of generated long-form reports. We develop and employ structured, tag-based schemes to better elicit underlying implicit intents to write or cite. We demonstrate that these extracted intents enhance both zero-shot generation capabilities in LLMs and enable the creation of high-quality synthetic data for fine-tuning smaller models. Our experiments reveal improved performance across various challenging scientific report generation tasks, with an average improvement of +2.9 and +12.3 absolute points for large and small models over baselines, respectively. Furthermore, our analysis illuminates how intent awareness enhances model citation usage and substantially improves report readability.