OneComp: 생성 AI 모델 압축을 위한 단일 라인 혁신

OneComp: One-Line Revolution for Generative AI Model Compression

기초 모델의 배포는 메모리 크기, 지연 시간, 하드웨어 비용으로 인해 점점 더 제약이 커지고 있습니다. 모델 압축은 모델 성능 저하를 최소화하면서 모델 파라미터의 정밀도를 줄여 이러한 병목 현상을 완화할 수 있지만, 양자화 알고리즘, 정밀도 예산, 데이터 기반 교정 전략, 하드웨어 의존적 실행 환경 등 복잡한 요소들로 인해 실제 구현은 여전히 어려운 과제입니다. 본 논문에서는 OneComp이라는 오픈 소스 압축 프레임워크를 소개합니다. OneComp은 전문가의 복잡한 워크플로우를 재현 가능하고 리소스에 적응 가능한 파이프라인으로 변환합니다. 모델 식별자와 사용 가능한 하드웨어를 입력으로 받아, OneComp은 모델을 자동으로 검사하고, 혼합 정밀도 할당 계획을 수립하고, 레이어 단위 압축부터 블록 단위 개선 및 전체 개선에 이르는 점진적인 양자화 단계를 실행합니다. 핵심적인 설계 선택은 첫 번째 양자화된 체크포인트를 배포 가능한 기준으로 삼는 것입니다. 이를 통해 각 후속 단계는 동일한 모델을 개선하며, 더 많은 컴퓨팅 자원이 투자될수록 품질이 향상됩니다. OneComp은 최첨단 압축 연구를 확장 가능하고 오픈 소스이며 하드웨어 인지 파이프라인으로 변환하여 알고리즘 혁신과 실제 모델 배포 간의 격차를 해소합니다.

Deploying foundation models is increasingly constrained by memory footprint, latency, and hardware costs. Post-training compression can mitigate these bottlenecks by reducing the precision of model parameters without significantly degrading performance; however, its practical implementation remains challenging as practitioners navigate a fragmented landscape of quantization algorithms, precision budgets, data-driven calibration strategies, and hardware-dependent execution regimes. We present OneComp, an open-source compression framework that transforms this expert workflow into a reproducible, resource-adaptive pipeline. Given a model identifier and available hardware, OneComp automatically inspects the model, plans mixed-precision assignments, and executes progressive quantization stages, ranging from layer-wise compression to block-wise refinement and global refinement. A key architectural choice is treating the first quantized checkpoint as a deployable pivot, ensuring that each subsequent stage improves the same model and that quality increases as more compute is invested. By converting state-of-the-art compression research into an extensible, open-source, hardware-aware pipeline, OneComp bridges the gap between algorithmic innovation and production-grade model deployment.