GenAI 연구의 환경 영향: Moshi 기반 모델 연구를 통한 통찰

Environmental Footprint of GenAI Research: Insights from the Moshi Foundation Model

새로운 다중 모드 대규모 언어 모델(MLLM)이 지속적으로 개발 및 배포되면서, 빠른 개발 주기를 거치고 있습니다. 이러한 생성형 AI의 발전은 데이터센터 건설 및 하드웨어 제조와 관련된 에너지 소비, 온실 가스 배출, 그리고 다양한 다른 환경 영향 증가를 초래하고 있습니다. GenAI의 환경적 영향을 완화하는 것은 해당 분야의 주요 주체들의 전반적인 투명성 부족으로 인해 여전히 어려운 과제입니다. 특정 모델의 환경 영향이 언급되더라도, 일반적으로 최종 훈련 단계의 탄소 발자국에만 국한되며, 연구 개발 단계는 포함되지 않습니다. 본 연구에서는 Kyutai라는 선도적인 사설 자금 지원 오픈 사이언스 AI 연구소에서 개발한 70억 개의 파라미터를 가진 실시간 대화용 음성-텍스트 기반 모델인 Moshi를 생성하는 데 사용된 컴퓨팅 자원을 세밀하게 분석하여 GenAI 연구의 환경 영향을 탐구합니다. 본 연구는 MLLM 연구의 컴퓨팅 집약적인 측면에 대한 최초의 심층 분석을 제공하며, 특정 모델 구성 요소 및 훈련 단계, 초기 실험 단계, 실패한 훈련 실행, 디버깅 및 ablation 연구에 투자된 GPU 시간을 정량화합니다. 또한, 라이프사이클 평가 방법론을 사용하여 Moshi의 생성 과정 전반에 걸쳐 에너지 및 물 소비량, 온실 가스 배출량, 데이터센터 하드웨어 생산 및 사용과 관련된 광물 자원 고갈을 평가합니다. 본 연구의 상세한 분석을 통해 MLLM 연구의 컴퓨팅 사용량과 환경 영향을 줄이기 위한 실질적인 지침을 제공하며, 보다 지속 가능한 AI 연구의 길을 열고자 합니다.

New multi-modal large language models (MLLMs) are continuously being trained and deployed, following rapid development cycles. This generative AI frenzy is driving steady increases in energy consumption, greenhouse gas emissions, and a plethora of other environmental impacts linked to datacenter construction and hardware manufacturing. Mitigating the environmental consequences of GenAI remains challenging due to an overall lack of transparency by the main actors in the field. Even when the environmental impacts of specific models are mentioned, they are typically restricted to the carbon footprint of the final training run, omitting the research and development stages. In this work, we explore the impact of GenAI research through a fine-grained analysis of the compute spent to create Moshi, a 7B-parameter speech-text foundation model for real-time dialogue developed by Kyutai, a leading privately funded open science AI lab. For the first time, our study dives into the anatomy of compute-intensive MLLM research, quantifying the GPU-time invested in specific model components and training phases, as well as early experimental stages, failed training runs, debugging, and ablation studies. Additionally, we assess the environmental impacts of creating Moshi from beginning to end using a life cycle assessment methodology: we quantify energy and water consumption, greenhouse gas emissions, and mineral resource depletion associated with the production and use of datacenter hardware. Our detailed analysis allows us to provide actionable guidelines to reduce compute usage and environmental impacts of MLLM research, paving the way for more sustainable AI research.