인공지능 문서의 동적 업데이트를 통한 인공지능 모델 재사용성 향상 연구

Toward Reusability of AI Models Using Dynamic Updates of AI Documentation

본 연구는 재사용 가능한 인공지능(AI) 모델과 함께 제공되는 AI 문서(AI 모델 카드)의 보급 문제를 다룬다. 연구의 배경은 다음과 같다. (1) 많은 양의 훈련된 AI 모델이 AI 문서 부족으로 인해 재사용되지 못하고 있으며, (2) AI 모델의 재사용 요구사항이 빠르게 변화하는 반면, 다양한 AI 모델 카드에 명시된 정보는 이러한 변화에 뒤쳐지는 현상 때문이다. 본 연구의 목표는 AI 모델 카드 템플릿 업데이트의 지연 시간을 단축하고, AI 문서를 최신 AI 기술 및 모범 사례에 더욱 가깝게 맞추는 것이다. 본 연구에서는 민첩하고, 데이터 기반이며, 커뮤니티 중심적인 AI 모델 카드 제공을 위한 방법론을 제시한다. Hugging Face(HF) 저장소에 있는 AI 모델 데이터와, AI 연구 개발 커뮤니티의 일부가 제공하는 AI 데이터셋 및 AI 모델의 AI 문서 템플릿인 Zero Draft(ZD) 템플릿을 테스트 데이터로 사용한다. 또한, AI 문서가 AI 재사용성에 미치는 영향에 대한 질문을 다룬다. 본 연구는 HF 저장소에서 AI 모델 다운로드/좋아요 수(AI 모델 재사용 지표)와 ZD 문서 템플릿과의 문서 일치 정도를 목차 및 단어 통계(AI 문서 품질 지표)를 사용하여 정량적으로 분석한다. 또한, HF 저장소에 업로드된 수백만 개의 AI 모델에서 파생된 커뮤니티 표준과 AI 문서 템플릿을 정기적으로 비교할 수 있는 인프라를 개발한다. 본 연구의 핵심은 AI 모델 문서화에 대한 민첩하고, 데이터 기반이며, 커뮤니티 중심적인 표준을 제시하고, AI 모델 재사용성을 향상시키는 데 있다.

This work addresses the challenge of disseminating reusable artificial intelligence (AI) models accompanied by AI documentation (a.k.a., AI model cards). The work is motivated by the large number of trained AI models that are not reusable due to the lack of (a) AI documentation and (b) the temporal lag between rapidly changing requirements on AI model reusability and those specified in various AI model cards. Our objectives are to shorten the lag time in updating AI model card templates and align AI documentation more closely with current AI best practices. Our approach introduces a methodology for delivering agile, data-driven, and community-based AI model cards. We use the Hugging Face (HF) repository of AI models, populated by a subset of the AI research and development community, and the AI consortium-based Zero Draft (ZD) templates for the AI documentation of AI datasets and AI models, as our test datasets. We also address questions about the value of AI documentation for AI reusability. Our work quantifies the correlations between AI model downloads/likes (i.e., AI model reuse metrics) from the HF repository and their documentation alignment with the ZD documentation templates using tables of contents and word statistics (i.e., AI documentation quality metrics). Furthermore, our work develops the infrastructure to regularly compare AI documentation templates against community-standard practices derived from millions of uploaded AI models in the Hugging Face repository. The impact of our work lies in introducing a methodology for delivering agile, data-driven, and community-based standards for documenting AI models and improving AI model reuse.