HalluTruthQA-4K: 아랍어 환각 감지 및 진실 검증을 위한 세밀한 데이터셋 및 어노테이션 프로세스

HalluTruthQA-4K: A Fine-Grained Corpus and Annotation Process for Arabic Hallucination Detection and Truth Verification

대규모 언어 모델은 유창한 아랍어 답변을 생성할 수 있지만, 동시에 사실 오류를 포함하는 경우가 많으며, 이러한 오류를 식별하고 검증하기 어렵습니다. 기존의 아랍어 환각 관련 자료들은 주로 전체 응답에 대해 환각 여부를 나타내는 이진 레이블을 부여하지만, 정확히 어떤 내용이 잘못되었는지, 왜 오류가 발생했는지, 그리고 올바른 사실 정보는 무엇인지에 대한 자세한 정보를 제공하지 않습니다. 본 논문에서는 4,000개의 전문가가 선별한 아랍어 질의응답 예시로 구성된 확장 버전 데이터셋인 HalluTruthQA-4K를 소개합니다. 이 데이터셋은 종교 지식, 역사, 과학, 지리학 등 네 가지 지식 집약적 분야를 포함하며, HalluScoring 2026 공동 연구 과제 Track 2의 공식 데이터셋으로 사용됩니다. HalluTruthQA-4K는 기존 데이터셋을 확장하여 총 4,000개의 예시로 구성되었습니다. 각 예시는 아랍어 질문, 모델이 생성한 응답, 검증된 정답 및 다섯 개의 가능한 오답으로 구성됩니다. 환각적인 응답은 추가적으로 문자 수준의 오류 구간, 사람이 작성한 설명, 그리고 계층적 환각 유형에 대한 어노테이션을 포함합니다. 이 데이터셋에는 1,643개의 환각적인 응답과 2,357개의 비-환각적인 응답이 있으며, 1,843개의 오류 구간이 어노테이션되어 있습니다. 본 논문에서는 질문 선택, 제어된 답변 생성, 후보 생성, 전문가 어노테이션, 독립 검증, 심판 과정 및 품질 관리를 포함한 데이터셋 구축 및 어노테이션 방법론을 설명합니다. 또한, 어노테이션 가이드라인, 분류 체계, 데이터 형식, 어노테이터 간 일치도 및 데이터셋 통계 정보를 제공합니다. HalluTruthQA-4K는 환각 감지, 오류 구간 수준의 오류 위치 파악, 설명 생성, 사실 검증 및 아랍어 언어 모델의 사실적 신뢰성에 대한 전반적인 평가를 위한 재사용 가능한 자료로 활용될 수 있습니다.

Large language models can generate fluent Arabic answers while introducing factual errors that are difficult to identify and verify. Existing Arabic hallucination resources often assign a binary label to an entire response, indicating whether it is hallucinated or non-hallucinated, but provide limited information about the exact erroneous content, the reason for the error, or the correct factual answer. We present HalluTruthQA-4K, an expanded version of the HalluTruthQA resource containing 4,000 expert-curated Arabic question-answering instances across four knowledge-intensive domains: Islamic knowledge, history, science, and geography. Serving as the official dataset for Track 2 of the HalluScoring 2026 shared task, HalluTruthQA-4K extends our original corpus to 4,000 instances. Each instance pairs an Arabic question with a model-generated response, a verified reference answer, and five plausible distractors. Hallucinated responses are additionally annotated with character-level erroneous spans, human-written explanations, and hierarchical hallucination types. The corpus contains 1,643 hallucinated and 2,357 non-hallucinated responses, with 1,843 annotated erroneous spans. We describe the resource construction and annotation methodology, including question selection, controlled answer generation, candidate construction, expert annotation, independent verification, adjudication, and quality control. We also document the annotation guidelines, taxonomy, data format, inter-annotator agreement, and corpus statistics. HalluTruthQA-4K provides a reusable resource for hallucination detection, span-level error localization, explanation generation, factual verification, and the broader evaluation of factual reliability in Arabic language models.