AFD-Ledger: 어텐션-FFN 분산 처리를 위한 배포 프로비저닝

AFD-Ledger: Deployment Provisioning for Attention--FFN Disaggregation

어텐션-피드 포워드 네트워크(FFN) 분산 처리(AFD)는 Mixture-of-Experts (MoE) 언어 모델을 운영하는 데 유망한 아키텍처로 떠오르고 있습니다. 기존 AFD 시스템은 분산 실행의 효율성을 향상시키지만, 다음과 같은 중요한 질문에 대한 답을 제공하지 못합니다. 동일한 모델, 워크로드, 토큰당 처리 시간(TPOT) 서비스 수준 목표(SLO), 하드웨어 예산, 하드웨어 카탈로그 및 런타임 기능을 갖춘 환경에서 AFD는 최적의 통합 배포보다 더 높은 처리량을 제공하는가? 이 질문에 답하려면 두 아키텍처 모두에 대한 하드웨어 할당과 배포 구조를 동시에 최적화해야 하며, 이는 완전한 프로비저닝을 매우 비효율적으로 만듭니다. 본 논문에서는 AFD-Ledger라는 오프라인 분석 프로비저닝 시스템을 제시합니다. 이 시스템은 분석 실행 모델과 평가 범위가 제한된 하드웨어 검색을 사용하여 AFD와 통합 배포를 독립적으로 프로비저닝합니다. 완전한 프로비저닝이 가능한 모든 배포 공간에서, AFD-Ledger는 전체 배포 평가 횟수를 68.8%~83.5% 줄이면서도 전역적으로 최적의 배포를 찾아냅니다. 실제 LongCat 2.0 환경에서 세 가지 배포 설정을 통해, AFD-Ledger는 올바른 아키텍처 결정을 유지하며 측정값과 AFD와 통합 배포 간의 처리량 차이를 6.6%~9.6% 이내로 정확하게 예측합니다. 검증된 프레임워크를 사용하여, 동일한 AFD는 특정 예산 내에서 대부분의 환경에서 통합 방식보다 더 높은 처리량을 제공하지 않으며, 이기종 AFD는 휴리스틱 기반 장치 선택보다는 배포 수준에서의 하드웨어 상호 보완이 필요하며, 역할별 하드웨어 개선은 주로 배포 가능성-가격 경계를 넘어서는 더 나은 배포 구조를 가능하게 할 때 중요합니다.

Attention--Feed-Forward Network (FFN) Disaggregation (AFD) is emerging as a promising architecture for serving Mixture-of-Experts (MoE) language models. While existing AFD systems improve the efficiency of disaggregated execution, they leave a deployment question unanswered: under the same model, workload, time-per-output-token (TPOT) service-level objective (SLO), hardware budget, hardware catalog, and runtime capabilities, does AFD provide higher throughput than the best collocated deployment? Answering this question requires jointly optimizing hardware assignment and deployment organization for both architectures, making exhaustive provisioning prohibitively expensive. We present AFD-Ledger, an offline analytical provisioning system that independently provisions AFD and collocated deployments using an analytical execution model and an evaluation-bounded hardware search. Across deployment spaces where exhaustive provisioning is feasible, AFD-Ledger reduces complete deployment evaluations by 68.8%--83.5% while still recovering the globally optimal deployment. On three physical LongCat 2.0 deployments, it preserves the correct architecture decision while predicting AFD-to-collocated throughput within 6.6%--9.6% of measurement. Using this validated framework, we show that homogeneous AFD improves fixed-budget throughput in only a minority of the studied settings, heterogeneous AFD requires deployment-level hardware complementarity rather than heuristic device selection, and role-specific hardware improvements matter primarily when they enable better deployment organizations by crossing deployment capability--price boundaries.