MAC: 다양한 속성 결정 메커니즘 하에서 레이블을 특징으로 하는 전환율 예측 벤치마크

MAC: A Conversion Rate Prediction Benchmark Featuring Labels Under Multiple Attribution Mechanisms

다중 속성 학습(Multi-Attribution Learning, MAL)은 다양한 속성 결정 메커니즘에서 생성된 전환 레이블을 학습하여 모델 성능을 향상시키는 유망한 학습 패러다임으로 전환율(CVR) 예측 분야에서 주목받고 있습니다. 그러나 공개된 CVR 데이터셋의 전환 레이블은 단일 속성 결정 메커니즘에 의해 생성되어 MAL 접근 방식의 개발을 제한합니다. 이러한 데이터 격차를 해소하기 위해, 우리는 다양한 속성 결정 메커니즘에서 생성된 레이블을 특징으로 하는 최초의 공개 CVR 데이터셋인 Multi-Attribution Benchmark (MAC)를 구축했습니다. 또한, MAL에 대한 재현 가능한 연구를 촉진하기 위해, 다양한 기본 방법들을 포함하는 오픈 소스 라이브러리인 PyMAL을 개발했습니다. 우리는 MAC에 대한 포괄적인 실험 분석을 수행하고 세 가지 주요 내용을 밝혀냈습니다. (1) MAL은 다양한 속성 설정에서 일관된 성능 향상을 가져오며, 특히 전환 경로가 긴 사용자에게 효과적입니다. (2) 대부분의 설정에서 성능 향상은 객관적인 복잡도에 따라 증가하지만, 첫 번째 클릭 전환을 예측하는 경우, 단순히 보조 객관 함수를 추가하는 것은 오히려 역효과를 낼 수 있으며, 이는 보조 객관 함수를 신중하게 선택해야 함을 강조합니다. (3) 두 가지 아키텍처 설계 원칙이 중요합니다. 첫째, 다중 속성 지식을 완벽하게 학습해야 하며, 둘째, 이 지식을 최대한 활용하여 주요 작업에 기여해야 합니다. 이러한 연구 결과를 바탕으로, 다중 속성 지식 학습과 주요 작업 중심의 지식 활용을 통합하는 효과적인 MAL 접근 방식인 Mixture of Asymmetric Experts (MoAE)를 제안합니다. MAC 데이터셋에 대한 실험 결과, MoAE는 기존 최고 성능의 MAL 방법보다 현저히 우수한 성능을 보였습니다. 우리는 우리의 벤치마크와 연구 결과가 MAL 분야의 미래 연구를 촉진할 것이라고 믿습니다. 우리의 MAC 벤치마크와 PyMAL 알고리즘 라이브러리는 https://github.com/alimama-tech/PyMAL 에서 공개적으로 이용할 수 있습니다.

Multi-attribution learning (MAL), which enhances model performance by learning from conversion labels yielded by multiple attribution mechanisms, has emerged as a promising learning paradigm for conversion rate (CVR) prediction. However, the conversion labels in public CVR datasets are generated by a single attribution mechanism, hindering the development of MAL approaches. To address this data gap, we establish the Multi-Attribution Benchmark (MAC), the first public CVR dataset featuring labels from multiple attribution mechanisms. Besides, to promote reproducible research on MAL, we develop PyMAL, an open-source library covering a wide array of baseline methods. We conduct comprehensive experimental analyses on MAC and reveal three key insights: (1) MAL brings consistent performance gains across different attribution settings, especially for users featuring long conversion paths. (2) The performance growth scales up with objective complexity in most settings; however, when predicting first-click conversion targets, simply adding auxiliary objectives is counterproductive, underscoring the necessity of careful selection of auxiliary objectives. (3) Two architectural design principles are paramount: first, to fully learn the multi-attribution knowledge, and second, to fully leverage this knowledge to serve the main task. Motivated by these findings, we propose Mixture of Asymmetric Experts (MoAE), an effective MAL approach incorporating multi-attribution knowledge learning and main task-centric knowledge utilization. Experiments on MAC show that MoAE substantially surpasses the existing state-of-the-art MAL method. We believe that our benchmark and insights will foster future research in the MAL field. Our MAC benchmark and the PyMAL algorithm library are publicly available at https://github.com/alimama-tech/PyMAL.