CoSA: 압축 센싱 기반 대규모 언어 모델 적응 방법

CoSA: Compressed Sensing-Based Adaptation of Large Language Models

매개변수 효율적인 미세 조정(Parameter-Efficient Fine-Tuning, PEFT)은 모든 매개변수를 업데이트하지 않고 대규모 언어 모델(LLM)을 적응시키는 실용적인 방법으로 부상했습니다. LoRA 및 PiSSA와 같은 대부분의 기존 방법은 가중치 업데이트의 저차원 분해에 의존합니다. 그러나 저차원 가정은 표현력을 제한할 수 있으며, 특히 특정 작업에 대한 적응 시나리오에서 고유값이 비교적 균일하게 분포되는 경우 더욱 그렇습니다. 이러한 한계를 해결하기 위해, 우리는 압축 센싱 이론에서 확장된 새로운 PEFT 방법인 CoSA(Compressed Sensing-Based Adaptation)를 제안합니다. CoSA는 가중치 업데이트를 저차원 부분 공간으로 제한하는 대신, 고정된 랜덤 투영 행렬과 작고 학습 가능한 핵심을 사용하여 표현합니다. 우리는 CoSA를 합성 과정으로 형식적으로 이론적으로 분석하여, 가중치 업데이트가 저차원 공간으로 간결하게 인코딩될 수 있으며, 랜덤 투영을 통해 다시 매핑될 수 있음을 증명합니다. 광범위한 실험 결과는 CoSA가 효율적이고 표현력이 뛰어난 다중 스케일 모델 적응을 위한 체계적인 관점을 제공한다는 것을 보여줍니다. 구체적으로, 우리는 자연어 이해 및 생성과 같은 10가지 다양한 작업에서 RoBERTa, Llama 및 Qwen 계열의 5가지 서로 다른 규모의 모델을 사용하여 CoSA를 평가했습니다. 이러한 모든 설정에서 CoSA는 일관되게 최첨단 PEFT 방법과 동등하거나 더 나은 성능을 보였습니다.

Parameter-Efficient Fine-Tuning (PEFT) has emerged as a practical paradigm for adapting large language models (LLMs) without updating all parameters. Most existing approaches, such as LoRA and PiSSA, rely on low-rank decompositions of weight updates. However, the low-rank assumption may restrict expressivity, particularly in task-specific adaptation scenarios where singular values are distributed relatively uniformly. To address this limitation, we propose CoSA (Compressed Sensing-Based Adaptation), a new PEFT method extended from compressed sensing theory. Instead of constraining weight updates to a low-rank subspace, CoSA expresses them through fixed random projection matrices and a compact learnable core. We provide a formal theoretical analysis of CoSA as a synthesis process, proving that weight updates can be compactly encoded into a low-dimensional space and mapped back through random projections. Extensive experimental results show that CoSA provides a principled perspective for efficient and expressive multi-scale model adaptation. Specifically, we evaluate CoSA on 10 diverse tasks, including natural language understanding and generation, employing 5 models of different scales from RoBERTa, Llama, and Qwen families. Across these settings, CoSA consistently matches or outperforms state-of-the-art PEFT methods.