인공지능 연구 개발 자동화 측정

Measuring AI R&D Automation

인공지능 연구 개발(AIRDA)의 자동화는 상당한 영향을 미칠 수 있지만, 그 범위와 최종적인 영향은 여전히 불확실합니다. 이러한 불확실성을 해소하기 위해서는 실증적인 데이터가 필요하지만, 기존의 데이터(주로 성능 벤치마크)는 실제 자동화 수준을 제대로 반영하지 못하거나, AIRDA가 안전 발전보다 능력을 더욱 빠르게 향상시키는지, 또는 AI 연구 개발에 대한 우리의 감독 능력이 이러한 발전 속도에 맞춰갈 수 있는지와 같은 광범위한 결과를 포착하지 못할 수 있습니다. 이러한 격차를 해소하기 위해, 본 연구는 AIRDA의 범위와 AI 발전 및 감독에 미치는 영향에 대한 측정 지표를 제안합니다. 이러한 지표는 AI 연구 개발 예산의 투자 비중, 연구원의 시간 할당, AI 관련 보안 사고 발생 건수 등 다양한 측면을 포함하며, 의사 결정자들이 AIRDA의 잠재적인 결과를 이해하고, 적절한 안전 조치를 시행하며, AI 발전 속도에 대한 인식을 유지하는 데 도움이 될 수 있습니다. 우리는 기업 및 제3자(예: 비영리 연구 기관)가 이러한 지표를 추적하기 시작하고, 정부가 이러한 노력을 지원할 것을 권장합니다.

The automation of AI R&D (AIRDA) could have significant implications, but its extent and ultimate effects remain uncertain. We need empirical data to resolve these uncertainties, but existing data (primarily capability benchmarks) may not reflect real-world automation or capture its broader consequences, such as whether AIRDA accelerates capabilities more than safety progress or whether our ability to oversee AI R&D can keep pace with its acceleration. To address these gaps, this work proposes metrics to track the extent of AIRDA and its effects on AI progress and oversight. The metrics span dimensions such as capital share of AI R&D spending, researcher time allocation, and AI subversion incidents, and could help decision makers understand the potential consequences of AIRDA, implement appropriate safety measures, and maintain awareness of the pace of AI development. We recommend that companies and third parties (e.g. non-profit research organisations) start to track these metrics, and that governments support these efforts.