低秩适应（LoRA）｜术语

低秩适应（LoRA）

LoRA（Low-Rank Adaptation）是一种参数高效微调方法：冻结原模型权重，只训练注入到部分层旁路中的低秩矩阵，用很小的可训练参数量把模型适配到特定任务或风格。训练产物体积小，便于分发和合并。

别名

LoRA · 低秩适应 · Low-Rank Adaptation

定义

LoRA（Low-Rank Adaptation，低秩适应）是一种参数高效微调方法：冻结原模型的全部权重，只训练注入到部分层旁路里的低秩矩阵，用很小的可训练参数量把模型适配到特定任务或风格。

它把权重的更新量近似为两个小矩阵的乘积，训练时只更新这部分“旁路”，之后再与原权重合并。相比全量微调，训练成本和显存占用大幅降低，产物体积也很小。

在算力有限的条件下定制大语言模型或扩散模型，例如让文生图模型学会特定画风、让对话模型适应垂直领域；社区分享微调模型时常以 LoRA 形式发布。

扩散模型常以 LoRA 作为微调方式，二者是“模型”与“微调技术”的关系。LoRA 也不同于量化：量化压缩数值精度，LoRA 决定额外训练什么。