고차원 선형 회귀에서의 정밀도 스케일링 법칙

Scaling Laws for Precision in High-Dimensional Linear Regression

저정밀도 학습은 모델 품질과 학습 비용 간의 트레이드오프를 최적화하는 데 필수적이며, 모델 크기, 데이터셋 크기 및 수치 정밀도를 통합적으로 할당할 것을 요구한다. 경험적 스케일링 법칙은 양자화가 유효 모델 및 데이터 용량에 영향을 미치거나 가산 오차로 작용함을 시사하지만, 이러한 효과를 지배하는 이론적 메커니즘은 여전히 거의 밝혀지지 않았다. 본 연구에서는 고차원 스케치 선형 회귀(sketched linear regression) 프레임워크 내에서 저정밀도 학습의 스케일링 법칙에 대한 이론적 연구를 수행한다. 승산적(신호 종속적) 양자화와 가산적(신호 독립적) 양자화를 분석하여, 이들의 스케일링 동작에서 나타나는 중요한 이분법적 특성을 규명한다. 분석 결과, 두 방식 모두 가산 오차를 발생시키고 유효 데이터 크기를 감소시키지만, 유효 모델 크기에 대해서는 서로 다른 영향을 미친다는 것을 발견했다. 승산적 양자화는 완전 정밀도(full-precision) 모델 크기를 유지하는 반면, 가산적 양자화는 유효 모델 크기를 감소시킨다. 수치 실험을 통해 이러한 이론적 발견을 검증한다. 본 연구는 모델 규모, 데이터셋 크기, 양자화 오차 간의 복잡한 상호작용을 엄밀하게 특성화함으로써, 실제 하드웨어 제약 조건 하에서 학습 프로토콜을 최적화할 수 있는 원칙적인 이론적 기반을 제공한다.

Low-precision training is critical for optimizing the trade-off between model quality and training costs, necessitating the joint allocation of model size, dataset size, and numerical precision. While empirical scaling laws suggest that quantization impacts effective model and data capacities or acts as an additive error, the theoretical mechanisms governing these effects remain largely unexplored. In this work, we initiate a theoretical study of scaling laws for low-precision training within a high-dimensional sketched linear regression framework. By analyzing multiplicative (signal-dependent) and additive (signal-independent) quantization, we identify a critical dichotomy in their scaling behaviors. Our analysis reveals that while both schemes introduce an additive error and degrade the effective data size, they exhibit distinct effects on effective model size: multiplicative quantization maintains the full-precision model size, whereas additive quantization reduces the effective model size. Numerical experiments validate our theoretical findings. By rigorously characterizing the complex interplay among model scale, dataset size, and quantization error, our work provides a principled theoretical basis for optimizing training protocols under practical hardware constraints.