느린 사고와 능동적 인지에 대한 기초 원리 이론

A First-Principles Theory of Slow Thinking and Active Perception

인지 기능의 기초 원리 모델링에 관한 일련의 연구의 일부로서, 본 논문은 사고 및 인지에 대한 수학적 형식을 제공하고자 시도합니다. 우리는 '느린 사고' 또는 보다 일반적으로 '능동적 인식'을 형식적으로 도출하며, 이는 느린 사고 대규모 언어 모델의 설계, 학습 및 추론을 포괄합니다. 우리의 출발점은 관측 가능 공간과 잠재 공간에 대한 확률 분포를 '리프팅(lifting)'하고 '투영(projection)'하여, 신경망과 같은 간단한 함수 패밀리를 사용하여 복잡한 데이터 분포를 표현하는 것입니다. 우리는 잠재 시퀀스의 샘플링과 최대 속도로 불확실성을 줄이려는 내재적 동기를 기반으로 하는 "능동적 리프팅(active lifting)"이라는 이론을 제안합니다. 이는 느린 사고 모델을 포함하는 넓은 설계 공간을 제공하며, 우리가 '정적 이론(static theory)'이라고 부르는 부분공간에 해당합니다. 이러한 모델들은 정적 이론에 의해 유도되는 표현 계층 구조와 샘플링 계층 구조에 위치하며, 두 계층 구조를 따라 이동함으로써 업그레이드될 수 있습니다. 능동적 리프팅은 내부 시간 축을 갖는 추론 과정을 도출하고, 최소 길이 코딩과 언어 창조에 유사한 학습 목표를 제시합니다. 따라서 이는 인지의 주체성을 특징짓고, 느린 사고 형식이 나타나는 과정을 설명합니다. 본 이론의 기술적인 부산물로는 느린 사고 모델을 개선하기 위한 세 단계 경로, 모든 데이터 모달리티에 대한 인코더 및 생성 모델 구축을 위한 통일된 접근 방식, 인간과 유사한 시각적 표현의 사전 형성, 그리고 정책 붕괴 문제에 대한 잠재적인 해결책 등이 있습니다.

As part of a series on first-principles modeling of cognitive functions, this paper attempts to provide a mathematical formulation of thinking and perception. It formally derives slow thinking or more generally, active perception, and encompasses the design, training and inference of slow thinking large language models. Our starting point is the lifting and projection of probability distributions on the observable and latent spaces, with the objective of representing complex data distributions by simple function families such as neural networks. A theory called "active lifting" is proposed, based on the sampling of latent sequences and an intrinsic drive to reduce uncertainty with maximum rate. It derives a large design space, containing the slow thinking models in a subspace that we call the static theory. These models are positioned on the representation hierarchy and sampler hierarchy induced by the static theory, and can be upgraded by climbing the two hierarchies. Active lifting further derives an inference process with an internal time axis, and a training objective that resembles minimum-length coding as well as the invention of languages. Thus, it characterizes the agency of perception, including the emergence of the slow thinking formats. Technical by-products of this theory include a three-stage pathway for improving slow thinking models, a unified approach to constructing encoders and generative models for all data modalities, a priori formation of human-like visual representations, and a possible solution to policy collapse.