LoRA

本文深入探讨了大语言模型高效微调技术 LoRA 及其改进版 LoRA+，详细解析了低秩假设、参数初始化策略以及非对称学习率对模型性能与收敛速度的影响。

本文系统梳理了视觉AI生成技术的发展历程，从生成对抗网络（GANs）、变分自编码器（VAEs）到扩散模型（Diffusion Models），以及 LoRA、ControlNet 等现代AIGC工具箱的核心技术，是理解当前AIGC生态的重要参考。

本文深入解析 LoRA（Low-Rank Adaptation）的核心思想、数学原理、初始化策略以及 LoRA+ 的改进，是理解大模型参数高效微调技术的重要理论基础。