파운데이션 모델(Foundation Models)의 기회와 위험에 관하여
On the Opportunities and Risks of Foundation Models
광범위한 데이터를 대규모로 학습하여 다양한 다운스트림 작업에 적응할 수 있는 모델들(예: BERT, DALL-E, GPT-3)의 부상으로 인해 AI는 패러다임의 전환을 겪고 있다. 우리는 이러한 모델들의 중요하고 중심적이지만 미완성인 특성을 강조하기 위해 이를 '파운데이션 모델(foundation models)'이라 부른다. 본 보고서는 파운데이션 모델의 능력(예: 언어, 시각, 로봇공학, 추론, 인간 상호작용) 및 기술적 원리(예: 모델 아키텍처, 훈련 절차, 데이터, 시스템, 보안, 평가, 이론)에서부터 응용 분야(예: 법률, 의료, 교육) 및 사회적 영향(예: 불평등, 오용, 경제 및 환경적 영향, 법적 및 윤리적 고려사항)에 이르기까지, 파운데이션 모델의 기회와 위험에 대한 포괄적인 설명을 제공한다. 파운데이션 모델은 표준 딥러닝과 전이 학습에 기반을 두고 있지만, 그 규모로 인해 새로운 창발적 능력이 나타나며, 수많은 작업에 걸친 효율성은 획일화를 촉진한다. 획일화는 강력한 이점을 제공하지만, 파운데이션 모델의 결함이 모든 다운스트림 적응 모델에 상속되기 때문에 주의가 요구된다. 파운데이션 모델의 광범위한 배포가 임박했음에도 불구하고, 우리는 현재 그 창발적 특성으로 인해 이 모델들이 어떻게 작동하는지, 언제 실패하는지, 심지어 무엇을 할 수 있는지에 대한 명확한 이해가 부족한 상태다. 이러한 문제들을 해결하기 위해, 우리는 파운데이션 모델에 대한 중요한 연구의 상당 부분이 그 근본적인 사회기술적 본질에 상응하는 깊이 있는 학제 간 협력을 필요로 할 것이라 믿는다.
AI is undergoing a paradigm shift with the rise of models (e.g., BERT, DALL-E, GPT-3) that are trained on broad data at scale and are adaptable to a wide range of downstream tasks. We call these models foundation models to underscore their critically central yet incomplete character. This report provides a thorough account of the opportunities and risks of foundation models, ranging from their capabilities (e.g., language, vision, robotics, reasoning, human interaction) and technical principles(e.g., model architectures, training procedures, data, systems, security, evaluation, theory) to their applications (e.g., law, healthcare, education) and societal impact (e.g., inequity, misuse, economic and environmental impact, legal and ethical considerations). Though foundation models are based on standard deep learning and transfer learning, their scale results in new emergent capabilities,and their effectiveness across so many tasks incentivizes homogenization. Homogenization provides powerful leverage but demands caution, as the defects of the foundation model are inherited by all the adapted models downstream. Despite the impending widespread deployment of foundation models, we currently lack a clear understanding of how they work, when they fail, and what they are even capable of due to their emergent properties. To tackle these questions, we believe much of the critical research on foundation models will require deep interdisciplinary collaboration commensurate with their fundamentally sociotechnical nature.
AI Analysis
Korean Summary
Key Innovations
- 광범위한 데이터에 대한 대규모 자기 지도 학습(Self-supervised learning)과 전이 학습(Transfer learning)의 결합
- 트랜스포머(Transformer) 아키텍처와 하드웨어 발전을 통한 모델 규모의 급격한 확장(Scale)
- 별도의 명시적 학습 없이 프롬프트만으로 새로운 작업을 수행하는 인컨텍스트 러닝(In-context learning)과 같은 창발적 능력
- 단일 모델을 다양한 다운스트림 태스크에 적용하는 적응(Adaptation) 기술(예: 파인튜닝, 프롬프팅)
- 텍스트, 이미지, 로보틱스 센서 데이터 등을 통합하는 멀티모달(Multimodal) 학습 능력
Learning & Inference Impact
학습 과정에서는 방대한 데이터셋 구축과 막대한 컴퓨팅 자원이 요구되는 '사전 학습(Pre-training)' 단계가 핵심이 되며, 이는 하드웨어와 소프트웨어의 공동 설계(Co-design) 및 분산 학습 시스템의 중요성을 높입니다. 추론 및 응용 단계에서는 처음부터 모델을 학습시키는 대신, 사전 학습된 파운데이션 모델을 특정 태스크에 맞게 '적응(Adaptation)'시키는 방식으로 워크플로우가 변화했습니다. 이는 소량의 데이터로도 높은 성능을 낼 수 있게(Sample efficiency) 해주지만, 파운데이션 모델의 결함이나 편향이 모든 다운스트림 애플리케이션에 전파될 수 있는 단일 실패 지점(Single point of failure) 문제를 야기하기도 합니다.
Technical Difficulty
Estimated implementation complexity based on methodology.