AGI 발전 측정: 인지적 프레임워크

Measuring Progress Toward AGI: A Cognitive Framework

AGI에 대한 광범위한 논의에도 불구하고, AGI 발전을 측정할 수 있는 명확한 기준은 존재하지 않습니다. 이러한 모호성은 주관적인 주장으로 이어지고, 진척 상황을 추적하기 어렵게 만들며, 책임감 있는 관리를 저해할 위험이 있습니다. 이러한 문제점을 해결하기 위한 첫걸음으로, 우리는 시스템의 능력을 인간의 인지 능력과 관련하여 이해할 수 있는 프레임워크를 제시합니다. 심리학, 신경과학 및 인지 과학 분야의 수십 년간의 연구를 바탕으로, 우리는 일반 지능을 10가지 핵심 인지 기능으로 세분화한 '인지 분류 체계'를 소개합니다. 또한, 시스템의 성능이 특정하고 미리 정의된 인지 작업들을 통해 평가되는 엄격한 평가 프로토콜을 제안하며, 이를 통해 시스템의 강점과 약점을 파악할 수 있는 '인지 프로필'을 생성합니다. 우리는 이 프레임워크가 AGI에 대한 더욱 엄밀하고 경험적인 평가를 위한 실용적인 로드맵을 제공하고, 초기 단계로 나아가는 데 도움이 될 것이라고 기대합니다.

Despite widespread discussion of AGI, there is no clear framework for measuring progress toward it. This ambiguity fuels subjective claims, makes it difficult to track progress, and risks hindering responsible governance. As a starting point to address this gap, we present a framework for understanding system capabilities in relation to human cognitive abilities. Drawing from decades of research in psychology, neuroscience, and cognitive science, we introduce a Cognitive Taxonomy that deconstructs general intelligence into 10 key cognitive faculties. We then propose a rigorous evaluation protocol in which a system's performance is measured across a suite of targeted, held-out cognitive tasks, generating a 'cognitive profile' that can be used to understand a system's strengths and weaknesses. We hope this framework will provide a practical roadmap and an initial step toward more rigorous, empirical evaluation of AGI.