从LoRA到QLoRA：量化技术如何改变预训练模型的微调方式

发布日期：2024-08-22 06:12:06 浏览次数： 4596

作者：智能体AI

微信搜一搜，关注“智能体AI”

在现代人工智能的发展中，预训练语言模型（LLM）已成为各种自然语言处理任务中的关键技术。这些模型通常具有数十亿甚至数千亿的参数，因此需要巨大的计算和存储资源来进行微调。QLoRA提出了一种新方法，使得在单个48GB的GPU上微调具有65B参数的大模型成为可能，并且保持了16-bit微调任务的性能。本文将详细介绍QLoRA的方法及其带来的变革。

一、 FFT vs LoRA vs QLoRA

在讨论QLoRA之前，有必要了解全量微调（Full Fine-Tuning，FFT）和低秩适配器（Low-Rank Adaptation，LoRA）这两种现有的方法。

1.1 全量微调（FFT）

全量微调是一种传统的方法，要求对预训练模型的所有参数进行更新。这意味着每次微调任务都需要大量的计算和存储资源。虽然这种方法可以在微调任务中达到最佳性能，但在处理大规模模型时，其资源消耗非常高。例如，微调一个具有数十亿参数的模型可能需要多个高性能GPU和大量的时间。

1.2 LoRA

LoRA提出了一种低秩适配器的方法，通过引入低秩矩阵来调整预训练模型的参数，从而减少需要更新的参数数量。这样做的好处是显著降低了计算和存储需求，使得在相对有限的硬件资源上也能进行有效的微调。然而，LoRA在某些情况下的性能可能不如全量微调，因为它只对部分参数进行了调整。

1.3 QLoRA

QLoRA在LoRA的基础上进一步优化，通过引入量化技术，使得在单个48GB GPU上微调65B参数模型成为可能。QLoRA通过冻结int4量化预训练语言模型，并将梯度反向传播到低秩适配器LoRA，实现了高效的微调。这种方法既保留了LoRA的低秩适配优势，又通过量化技术降低了计算和存储需求。

二、 QLoRA 提出新数据类型 4-bit NormalFloat (NF4)

QLoRA的一个关键创新在于其量化技术，尤其是新提出的4-bit NormalFloat (NF4) 数据类型。

2.1 8-bit 量化和量化常数c

在传统的量化方法中，8-bit量化是一种常见的技术。它通过一个量化常数c将输入张量的值映射到8-bit的范围内，从而实现数据压缩。然而，8-bit量化在处理大规模模型时仍然需要大量的存储空间和计算资源。

2.2 NormalFloat (NF) 数据类型

NormalFloat (NF) 数据类型建立在分位数量化（Quantile Quantization）基础上。这是一种信息论最优的数据类型，能够确保每个量化区间中具有相同数量的值。分位数量化通过经验累积分布函数（ECDF）估计输入张量的分位数，虽然分位数估计过程较为昂贵，但快速分位数近似算法（如SRAM分位数）可以有效解决这一问题。

2.3 4-bit NormalFloat (NF4)

由于预训练神经网络的权重通常具有标准差为σ的零中心正态分布，通过缩放σ可以将所有权重转换为单个固定分布，使其符合NF4的数据范围。在QLoRA中，NF4的数据范围被设定为[-1, 1]。通过归一化，神经网络权重的分位数能够匹配这一范围，从而实现高效的量化。具体来说，NF4通过以下步骤实现：

估计标准正态分布N(0,1)的分位数，得到正态分布的k位分位数量化数据类型。
将这些分位数值归一化到[-1, 1]范围内。
将输入权重张量归一化到[-1, 1]范围内进行量化。

三、QLoRA 提出双量化技术：量化（量化常数）

除了数据类型的创新，QLoRA还提出了双量化技术，这种技术设计了存储数据类型（4-bit NormalFloat）和计算数据类型（16-bit BrainFloat）。

3.1 双量化技术的应用

在QLoRA中，权重从存储数据类型（4-bit NormalFloat）反量化为计算数据类型（16-bit BrainFloat），以进行前向和后向传播。然而，只有16-bit BrainFloat的LoRA参数的权重梯度会被计算，这样一来，权重只有在需要时才会解压缩。这种方法在训练和推理期间保持了较低的内存使用率。

3.2 优化内存使用

双量化技术的应用使得在单个GPU上进行大规模模型的微调成为可能，同时显著降低了内存使用率。这对于资源有限但需要处理大规模模型的应用场景来说，具有重要意义。通过这种方法，可以在有限的硬件资源上实现高效的模型微调和推理，极大地提高了计算资源的利用效率。

四、总结

QLoRA通过引入4-bit NormalFloat数据类型和双量化技术，成功在低资源条件下实现了大规模预训练模型的高效微调。这种方法不仅保留了LoRA的低秩适配优势，还进一步优化了内存使用和计算效率，为大规模模型的实际应用提供了新的可能性。未来，QLoRA有望在更多的自然语言处理任务中发挥重要作用，推动人工智能技术的进一步发展。