HalluHard: 고난도 멀티턴 환각 벤치마크

HalluHard: A Hard Multi-Turn Hallucination Benchmark

대규모 언어 모델(LLM)은 여전히 그럴듯하게 들리지만 근거 없는 사실적 주장을 생성하며, 이 문제는 맥락이 길어지고 초기의 오류가 누적되는 멀티턴 대화에서 더욱 악화됩니다. 본 논문에서는 법률 판례, 연구 질문, 의료 지침, 코딩 등 네 가지 고위험 도메인에 걸친 950개의 시드 질문으로 구성된 고난도 멀티턴 환각 벤치마크인 HalluHard를 소개합니다. 우리는 사실적 진술에 대해 인라인 인용을 요구함으로써 그라운딩(grounding, 근거 기반성)을 구체화했습니다. 개방형 환경에서 신뢰할 수 있는 평가를 지원하기 위해, 웹 검색을 통해 증거를 반복적으로 수집하는 평가 파이프라인을 제안합니다. 이 파이프라인은 전문(PDF 포함) 소스를 수집, 필터링 및 파싱하여 인용된 자료가 생성된 내용을 실제로 뒷받침하는지 평가할 수 있습니다. 다양한 최첨단 독점 및 오픈 웨이트 모델을 평가한 결과, 웹 검색을 사용하더라도 환각 현상은 여전히 상당하며(가장 강력한 구성인 Opus-4.5와 웹 검색 조합의 경우 약 30%), 콘텐츠 그라운딩 오류 또한 높은 비율로 지속되었습니다. 마지막으로, 우리는 환각 양상이 모델의 용량, 턴 위치, 효과적인 추론 능력, 그리고 요구되는 지식의 유형에 따라 형성된다는 것을 보여줍니다.

Large language models (LLMs) still produce plausible-sounding but ungrounded factual claims, a problem that worsens in multi-turn dialogue as context grows and early errors cascade. We introduce $\textbf{HalluHard}$, a challenging multi-turn hallucination benchmark with 950 seed questions spanning four high-stakes domains: legal cases, research questions, medical guidelines, and coding. We operationalize groundedness by requiring inline citations for factual assertions. To support reliable evaluation in open-ended settings, we propose a judging pipeline that iteratively retrieves evidence via web search. It can fetch, filter, and parse full-text sources (including PDFs) to assess whether cited material actually supports the generated content. Across a diverse set of frontier proprietary and open-weight models, hallucinations remain substantial even with web search ($\approx 30\%$ for the strongest configuration, Opus-4.5 with web search), with content-grounding errors persisting at high rates. Finally, we show that hallucination behavior is shaped by model capacity, turn position, effective reasoning, and the type of knowledge required.