从PEFT到未来：大模型微调的高效新方法全面揭秘！

发布日期：2024-08-06 08:02:25 浏览次数： 3331

作者：智能体AI

微信搜一搜，关注“智能体AI”

在自然语言处理（NLP）和机器学习领域，大型预训练模型（如GPT、BERT等）已经成为主流。尽管这些模型在处理复杂任务上表现出色，但它们的微调（即在特定任务上进行调整）通常需要大量计算资源和时间。为了优化这一过程，渐进式扩展微调技术（PEFT）应运而生，为大模型的高效微调提供了新的解决方案。本文将详细介绍PEFT的主流技术、UniPELT的统一框架、IA3的增量训练方法以及未来的发展趋势，帮助您全面了解这一前沿技术领域。

一、PEFT 主流技术分类

PEFT技术旨在通过优化微调过程来提高大模型的效率。下面是PEFT的几种主流技术：

增量模型（参数）：

定义：增量模型技术通过只调整模型的一部分参数或特定层，来减少计算和存储需求。简单来说，就是在不修改整个模型的情况下，对模型进行局部调整。

应用：这种方法特别适用于需要快速适应新任务或新数据的场景。通过只对模型的某些参数进行调整，可以显著减少计算量和存储需求。

适配器：

定义：适配器是在预训练模型中插入的小型模块，通过微调这些模块来适应新任务。这种方式不会修改原始模型的权重，只对适配器进行调整。

优势：适配器的使用使得我们可以在不同任务中复用相同的预训练模型，只需训练适配器部分即可。这样，训练过程更高效，节省了大量的计算资源。

软提示：

定义：软提示技术通过在模型输入中加入可学习的嵌入（soft prompts），来引导模型生成期望的输出。与硬提示（如手动设计的提示）不同，软提示是可优化的。

应用：这种方法可以在不更改模型本身的情况下，通过调整输入的提示来控制模型的输出结果。这使得在处理不同任务时，可以灵活地调整模型的行为。

选择性方法：

定义：选择性方法仅对模型的部分参数或层进行更新，以提高微调的效率。这种方法通过选择性地微调模型，减少了不必要的计算和存储需求。

应用：这种方法特别适合于需要快速适应特定任务的场景，因为它能大幅度降低计算量，同时保持模型的高效性。

基于重参数化方法：

定义：基于重参数化的方法通过对模型结构或参数进行重新配置，来提高模型在新任务上的性能。这种方法通常涉及对模型的参数进行重新调整或重定义。

应用：这种技术可以有效优化模型的性能，使其更加适合特定的任务需求，从而提高模型的整体表现。

二、UniPELT：PEFT 大模型的统一框架

2022年，UIUC和Meta AI的研究人员提出了UniPELT，这是一个将不同PEFT方法模块化的统一框架。UniPELT旨在通过自动选择最适合当前任务的PEFT方法，来提高微调的效率。主要涉及的三大类PEFT技术包括：

Adapters（适配器）：

功能：在模型中插入适配器层，通过微调这些层来适应新任务。适配器的设计可以根据任务需求进行调整，从而实现高效的任务适配。

应用：适配器可以在模型的不同位置插入，如前馈网络层，以便在不改变模型原始权重的情况下，快速进行任务适配。

Soft Prompts（软提示）：

功能：通过在模型输入中加入可学习的提示，来引导模型生成期望的输出。软提示与传统的硬提示不同，它们是可优化的，可以根据任务需求进行调整。

应用：这种方法可以灵活地调整模型的行为，从而在处理不同任务时，提高模型的输出质量。

Reparametrization-based（基于重参数化的方法）：

功能：通过重参数化技术对模型进行优化，从而提高模型在新任务上的表现。这种方法通常涉及对模型参数的重新配置。

应用：基于重参数化的方法可以有效提高模型的性能，使其更适合特定任务的需求。

UniPELT通过模块化这些技术，实现了一个统一的微调框架。它可以根据不同的任务需求，灵活选择和配置不同的微调模块，从而在各种下游任务中提高模型的适应性和效率。

三、UniPELT的技术组合探讨

在UniPELT中，如何有效组合这三类主流PEFT技术是关键。以下是对这三类技术组合的详细探讨：

Adapter（适配器）：

接入位置：适配器可以接入到模型的不同位置，如前馈网络（FFN）层。这些位置的选择可以影响适配器的效果。

接入方式：适配器可以以串行或并行方式接入模型。串行方式将适配器层连接到模型的各个层次，而并行方式则在模型的每个层次上并行插入适配器。

MLP 设计：适配器的多层感知机（MLP）设计涉及隐藏层的维度调整。合适的MLP设计可以提高适配器的有效性和性能。

Soft Prompts（软提示）：

嵌入方式：软提示可以通过不同的方式嵌入模型中，如Prompt-tuning、Prefix-Tuning和P-Tuning等。每种方式的优缺点不同，可以根据任务需求选择合适的方式。

Prompt 微调方法：软提示的微调方法可以是手工生成的提示，也可以通过连续可微优化得到的提示。连续可微优化的方法可以更灵活地调整模型的行为。

Reparametrization-based（基于重参数化的方法）：

缩放因子：例如，秩（Rank）r的缩放因子可以影响模型的重参数化效果。

模型参数/模块类型：如权重量化（WQ）、权重值（WV）等，这些参数或模块的选择可以影响模型的性能。

通过对这三类技术的有效组合，UniPELT能够在不同任务中实现高效的微调，提高模型的适应性和表现。

四、(IA)3：探索新的增量训练方法

2022年，北卡罗来纳大学教堂山分校的研究人员提出了一种新的增量训练方法——IA3（Infused Adapter by Inhibiting and Amplifying Inner Activations）。这种方法通过学习向量对激活层进行加权缩放，旨在提高微调的效率。

IA3的主要特点包括：

高效性：

参数减少：IA3大幅减少了可训练参数的数量。例如，对于T0模型，IA3模型仅含约0.01%的可训练参数，而LoRA的可训练参数比例大于0.1%。

性能表现：使用IA3进行微调的模型，其表现与完全微调模型相当，但计算量更少。

冻结预训练权重：

保持冻结：预训练的权重保持冻结状态，使得可以构建多个轻量级IA3模型，用于各种下游任务。这种方法减少了对原始模型的修改，提升了灵活性。

推理延迟：

无增加：IA3不会增加推理延迟，因为适配器权重可以与基础模型合并。这意味着模型的推理速度不会受到影响。

应用范围：

通用性：IA3可以应用于神经网络中的任何权重矩阵子集，以减少可训练参数的数量。例如，在Transformer模型中，IA3权重被添加到关键（K）、值（V）和前馈网络（FFN）中。

IA3方法通过优化模型的激活层，提高了微调的效率和效果。

五、大模型高效微调技术的未来发展趋势

展望未来，大模型微调技术的发展将会集中在以下几个方面：

更高效的参数优化：

目标：研究将继续寻找更高效的参数优化方法，减少计算资源和参数量。可能包括更先进的参数共享策略和更高效的LoRA技术。

适应性和灵活性的提升：

目标：微调方法将变得更加灵活，能够适应各种任务和数据集的优化需求，提高模型的适应性。

跨模态和多任务学习：

目标：PEFT技术可能会扩展到跨模态（如文本、图像和声音结合的模型）和多任务学习领域，以提升模型处理多种任务和数据类型的能力。

模型压缩和加速：

目标：随着边缘设备和移动设备对AI模型的需求增加，PEFT技术将重点关注模型的压缩和推理速度的提升，以适应这些设备的需求。

低资源语言和任务的支持：

目标：将PEFT技术应用于低资源语言和特定领域任务，提供更广泛的语言和任务覆盖，提高模型的普适性和实用性。

通过不断优化这些技术，大模型的微调过程将变得更加高效和灵活，为各种应用场景提供更好的解决方案。在人工智能领域，随着大模型的不断发展，微调技术也在不断进步。渐进式扩展微调技术（PEFT）作为一种高效的微调方法，正在为大模型的应用带来更多可能性。从增量模型、适配器到软提示和基于重参数化的方法，这些技术不断推动着模型的效率和适应性向前迈进。