SDU의 DAISY: 덴마크 문화에 대한 벤치마크

SDUs DAISY: A Benchmark for Danish Culture

본 논문에서는 2006년 덴마크 문화 규범(Danish Culture Canon)에서 추출된 주제를 기반으로, 덴마크 문화 유산을 활용한 새로운 벤치마크인 Daisy를 소개합니다. 덴마크 문화 규범에 포함된 각 유물에 대해, 해당 위키피디아 페이지를 검색하고, 언어 모델을 사용하여 무작위 질문을 생성합니다. 이를 통해 각 작품 내에서 핵심 질문과 주변 질문을 혼합한 샘플링 전략을 구현합니다. Daisy는 주류 정보에 대한 지식뿐만 아니라, 덴마크 문화 규범 위원회에서 정의한 덴마크 문화 유산을 정의하는 심층적인 핵심 요소들을 포함합니다. 생성된 질문-답변 쌍은 최종 데이터셋에서 인간에 의해 검토 및 수정되었으며, 이 데이터셋은 1300년 전의 고고학적 발견부터 17세기 시와 음악 작품, 그리고 현대 팝 음악, 덴마크 디자인 및 건축에 이르기까지 다양한 주제를 다루는 741개의 객관식 질문-답변 쌍으로 구성되어 있습니다.

We introduce a new benchmark for Danish culture via cultural heritage, Daisy, based on the curated topics from the Danish Culture Canon 2006. For each artifact in the culture canon, we query the corresponding Wikipedia page and have a language model generate random questions. This yields a sampling strategy within each work, with a mix of central of peripheral questions for each work, not only knowledge of mainstream information, but also in-depth cornerstones defining the heritage of Danish Culture, defined by the Canon committee. Each question-answer pair is humanly approved or corrected in the final dataset consisting of 741 close-ended question answer pairs covering topics, from 1300 BC. archaeological findings, 1700 century poems and musicals pieces to contemporary pop music and Danish design and architecture.