LoRA-GA: Low-Rank Adaptation with Gradient Approximation

全量微调大规模预训练模型在计算和内存上代价高昂。LoRA 作为最流行的参数高效微调（PEFT）方法之一，通过微调一个参数量大幅减少的辅助低秩模型来降低成本。尽管 LoRA 显著降低了每次迭代的计算和内存开销，大量实验证据表明其收敛速度远慢于全量微调，最终反而增加总计算量且测试性能往往更差。本文深入研究了 LoRA 的初始化方法，发现精心设计的初始化（不改变架构和训练算法）即可显著提升效率与性能。我们提出 LoRA-GA（Low Rank Adaptation with Gradient Approximation），在第一步就将低秩矩阵乘积的梯度与全量微调的梯度对齐。大量实验表明，LoRA-GA 的收敛速度可与全量微调媲美（因而显著快于原始 LoRA 及其各类改进），同时取得相当甚至更优的性能。例如，在 T5-Base 的 GLUE 子集上，LoRA-GA 较 LoRA 平均高出 5.69%；在 Llama 2-7B 等更大模型上，LoRA-GA 在 MT-bench、GSM8K 和 Human-eval 上分别提升 0.34、11.52% 和 5.05%。此外，相比原始 LoRA 观察到 2–4 倍的收敛加速。代码见 https://github.com/Outsider565/LoRA-GA。