LoRA+

本文深入探讨了大语言模型高效微调技术 LoRA 及其改进版 LoRA+，详细解析了低秩假设、参数初始化策略以及非对称学习率对模型性能与收敛速度的影响。