KNIGHT: 적응형 난이도 보정을 활용한 지식 그래프 기반 객관식 문제 생성

KNIGHT: Knowledge Graph-Driven Multiple-Choice Question Generation with Adaptive Hardness Calibration

대형 언어 모델(LLM)의 부상과 함께, 이들은 검색 증강 생성(RAG)과 같은 애플리케이션에서 핵심적인 역할을 하게 되었다. 그러나 이러한 시스템을 평가하는 것은 특화된 평가 데이터셋을 구축하는 데 소요되는 시간과 비용으로 인해 여전히 병목 현상을 겪고 있다. 우리는 외부 출처로부터 객관식 문제(MCQ) 데이터셋을 생성하기 위한 LLM 및 지식 그래프 기반 프레임워크인 KNIGHT를 소개한다. KNIGHT는 개체와 관계에 대한 구조화되고 간결한 요약인 특정 주제의 지식 그래프를 구축하며, 이는 원본 텍스트 전체를 반복적으로 다시 입력할 필요 없이 다중 홉(multi-hop) 질문을 포함해 출제자가 난이도를 제어하여 문제를 생성하는 데 재사용될 수 있다. 이 지식 그래프는 압축되고 재사용 가능한 상태로 기능하여, 문제 생성을 그래프상의 비용이 적게 드는 읽기 작업으로 만들어 준다. 우리는 도메인 및 온톨로지에 구애받지 않는 프레임워크의 특성을 유지하면서 위키백과와 위키데이터에 KNIGHT를 구현하였다. 사례 연구로서, KNIGHT는 역사, 생물학, 수학 분야에서 6개의 MCQ 데이터셋을 생성한다. 우리는 유창성, 명확성(단일 정답), 주제 관련성, 선택지의 고유성, 그리고 제공된 출처 내에서의 답변 가능성(환각에 대한 대리 지표로서) 등 5가지 기준에 따라 품질을 평가한다. 연구 결과, KNIGHT는 재사용 가능한 그래프 표현을 통해 토큰 및 비용 효율적인 생성을 가능하게 하고, 해당 기준 전반에 걸쳐 높은 품질을 달성하며, 특정 주제 및 난이도 조절이 가능한 평가를 지원함과 동시에 MMLU 스타일 벤치마크와 일치하는 모델 순위를 산출하는 것으로 나타났다.

With the rise of large language models (LLMs), they have become instrumental in applications such as Retrieval-Augmented Generation (RAG). Yet evaluating these systems remains bottlenecked by the time and cost of building specialized assessment datasets. We introduce KNIGHT, an LLM-based, knowledge-graph-driven framework for generating multiple-choice question (MCQ) datasets from external sources. KNIGHT constructs a topic-specific knowledge graph, a structured and parsimonious summary of entities and relations, that can be reused to generate instructor-controlled difficulty levels, including multi-hop questions, without repeatedly re-feeding the full source text. This knowledge graph acts as a compressed, reusable state, making question generation a cheap read over the graph. We instantiate KNIGHT on Wikipedia/Wikidata while keeping the framework domain- and ontology-agnostic. As a case study, KNIGHT produces six MCQ datasets in History, Biology, and Mathematics. We evaluate quality on five criteria: fluency, unambiguity (single correct answer), topic relevance, option uniqueness, and answerability given the provided sources (as a proxy for hallucination). Results show that KNIGHT enables token- and cost-efficient generation from a reusable graph representation, achieves high quality across these criteria, and yields model rankings aligned with MMLU-style benchmarks, while supporting topic-specific and difficulty-controlled evaluation.