트랜스포머를 범용 컴퓨터로 학습시키기

Training Transformers as a Universal Computer

본 연구에서는 작은 크기의 트랜스포머 모델이 MicroPy라는 단순화된 형태의 범용 프로그래밍 언어로 작성된 프로그램을 실행하는 능력을 학습할 수 있음을 보여줍니다. 주어진 프로시저 정의와 평가할 표현식을 입력받아, 트랜스포머는 PENCIL 프레임워크를 사용하여 제한된 컨텍스트 윈도우 내에서 효율적인 방식으로 단계별 실행을 예측합니다. 무작위로 생성된 의미 없는 MicroPy 프로그램을 사용하여 학습시킨 후, 학습된 트랜스포머는 비트 복사 및 반전, 이진 덧셈 및 곱셈, 그리고 SAT 검증 및 해결과 같은 다양한 사람이 작성한 프로그램에도 적용될 수 있습니다. 학습된 모델은 학습 데이터 분포에 없는 새로운 프로그램에 대해서도 일반화 성능을 보입니다. MicroPy는 모든 종류의 연산을 표현할 수 있으므로, 본 연구의 결과는 표준 트랜스포머 모델을 범용 컴퓨터로 작동하도록 훈련시킬 수 있다는 경험적 증거를 제공합니다.

We demonstrate that a small transformer can learn to execute programs in MicroPy, a simplified yet computationally universal programming language. Given procedure definitions together with an expression to evaluate, the transformer predicts small-step execution using PENCIL scaffolding for space-efficient execution within a bounded context window. After training on randomly generated, meaningless MicroPy programs, the learned transformer generalizes to various human-written programs including bit copying and flipping, binary addition and multiplication, and SAT verification and solving. We note that the trained model can achieve out-of-distribution generalization; i.e., evaluate novel programs from distribution on programs. Since MicroPy can express any computation, our results provide empirical evidence that a standard transformer can be trained to act as a universal computer.