평가된 개념적 논증 데이터셋

A dataset of rated conceptual arguments

대규모 언어 모델은 수학 및 프로그래밍과 같은 검증 가능한 답변이 필요한 작업에서 빠르게 발전해 왔습니다. 그러나, 우리가 '개념적 질문'이라고 부르는 문제에 대한 그들의 능력에 대해서는 상대적으로 적게 알려져 있습니다. 개념적 질문이란, 현실적으로 정답을 얻기 어렵고 널리 인정되는 해결 방법론이 존재하지 않지만, 논쟁을 통해 여전히 발전할 수 있는 질문들을 의미합니다. 대부분의 철학적 질문과 더불어 인공지능 안전성, 의사 결정 이론 및 사회 선택 분야의 핵심적인 문제들도 이 범주에 속합니다. 우리는 이러한 질문들에 대한 최종 결론을 평가하기 어렵지만, 개별적인 맥락화된 논증은 훨씬 더 신뢰성 있게 평가할 수 있다는 관점에 기반하여 연구를 진행했습니다. 따라서, 본 연구에서는 인공지능 안전성 및 의사 결정 이론부터 윤리 및 정치에 이르기까지 다양한 주제를 다루는 442개의 입장(position) 문서를 비판하는 951개의 논증 데이터셋을 구축하고, 6명의 전문가 평가자가 중심성, 강도, 정확성 및 명확성과 같은 측면에서 1,458개의 평가를 수행했습니다. 우리는 두 가지 평가 함수를 제안하고 다양한 모델들을 성능 비교 대상으로 삼았습니다. 실험 결과는 모델의 일반적인 능력 순위를 반영하는 것으로 나타났습니다.

Large language models have improved rapidly on tasks with verifiable answers, such as mathematics and programming. Much less is known about their ability to reason about what we call conceptual questions: questions for which no ground truth is realistically accessible and no widely accepted resolution methodology exists, but on which progress can still be made by debating arguments. Most philosophical questions are of this kind, as are central components of questions in AI safety, decision theory, and social choice. Our approach is based on the view that while bottom-line conclusions on such questions are hard to evaluate, individual contextualized arguments can be evaluated far more reliably. We therefore introduce a dataset of 951 argumentative critiques of 442 position texts, spanning topics from AI safety and decision theory to ethics and politics, with 1,458 ratings by six expert raters along dimensions including centrality, strength, correctness, and clarity. We propose two scoring functions and benchmark a range of models. Performance tracks general capability rankings.