한 번 설계, 대규모 배포: 대규모 모델 생태계를 위한 템플릿 기반 머신러닝 개발

Design Once, Deploy at Scale: Template-Driven ML Development for Large Model Ecosystems

현대의 계산 광고 플랫폼은 일반적으로 사용자 반응(예: 클릭률, 전환율 및 기타 최적화 이벤트)을 예측하기 위해 추천 시스템에 의존합니다. 다양한 제품 인터페이스와 광고주 목표를 지원하기 위해, 이러한 플랫폼은 종종 방대한 머신러닝(ML) 모델 생태계를 유지합니다. 그러나 이러한 규모로 운영하면 상당한 개발 및 효율성 문제가 발생합니다. ML 모델을 정기적으로 업데이트하고 새로운 기술을 적용하는 데 상당한 엔지니어링 노력이 필요하며, 이는 ML 혁신을 전체 생태계에 배포할 때 상당한 지연 시간을 초래합니다. 본 연구에서는 추천 시스템에서 표준화된 모델 구축 방식과 개별 모델별 최적화 간의 모델 성능, 효율성 및 ML 기술 적용 속도를 비교하는 대규모 실증 연구를 제시합니다. 이러한 표준화를 용이하게 하기 위해, 우리는 표준 모델 템플릿(SMT)이라는 프레임워크를 제안합니다. SMT는 다양한 데이터 분포 및 최적화 이벤트에 적응 가능한 고성능 모델을 생성합니다. 표준화된, 모듈화된 ML 모델 구성 요소를 활용함으로써, SMT는 기술 적용 복잡성을 $O(n imes 2^k)$에서 $O(n + k)$로 줄입니다. 여기서 $n$은 모델의 개수이고 $k$는 기술의 개수입니다. Meta의 실제 광고 순위 시스템 내에서 4개의 글로벌 개발 주기를 통해 다양한 모델을 평가한 결과, 다음과 같은 결과를 얻었습니다. (1) 평균적으로 교차 엔트로피가 중립적인 서비스 용량에서 0.63% 향상되었고, (2) 모델별 반복 엔지니어링 시간이 92% 감소했으며, (3) 기술-모델 쌍 채택 처리량이 6.3배 증가했습니다. 이러한 결과는 다양한 최적화 목표가 본질적으로 다양한 ML 모델 설계를 필요로 한다는 기존의 통념에 도전합니다.

Modern computational advertising platforms typically rely on recommendation systems to predict user responses, such as click-through rates, conversion rates, and other optimization events. To support a wide variety of product surfaces and advertiser goals, these platforms frequently maintain an extensive ecosystem of machine learning (ML) models. However, operating at this scale creates significant development and efficiency challenges. Substantial engineering effort is required to regularly refresh ML models and propagate new techniques, which results in long latencies when deploying ML innovations across the ecosystem. We present a large-scale empirical study comparing model performance, efficiency, and ML technique propagation between a standardized model-building approach and independent per-model optimization in recommendation systems. To facilitate this standardization, we propose the Standard Model Template (SMT) -- a framework that generates high-performance models adaptable to diverse data distributions and optimization events. By utilizing standardized, composable ML model components, SMT reduces technique propagation complexity from $O(n \cdot 2^k)$ to $O(n + k)$ where $n$ is the number of models and $k$ the number of techniques. Evaluating an extensive suite of models over four global development cycles within Meta's production ads ranking ecosystem, our results demonstrate: (1) a 0.63% average improvement in cross-entropy at neutral serving capacity, (2) a 92% reduction in per-model iteration engineering time, and (3) a $6.3\times$ increase in technique-model pair adoption throughput. These findings challenge the conventional wisdom that diverse optimization goals inherently require diversified ML model design.