2026年7月2日 周四晚上19:30,报名腾讯会议了解“如何构建自进化的动态知识库(Brain)”(限30人)
免费POC, 零成本试错
FDE知识库

FDE知识库

学习大模型的前沿技术与行业落地应用


收藏

一文彻底搞懂大模型 - Fine-tuning三种微调方式

发布日期:2024-09-04 14:45:17 浏览次数: 7580
作者:架构师带你玩转AI

微信搜一搜,关注“架构师带你玩转AI”

Fine-tuning
在生成式AI和大语言大模型(如GPT、LLaMA)的广泛应用中,微调(Fine-tuning)作为模型适应特定任务的关键步骤,其重要性不言而喻。以下将详细介绍三种流行的微调方式:Prompt-tuning、Prefix-tuning和LoRA,深入理解每种方法的原理、特点及应用场景。
Fine-tuning

方式一:Prompt-tuning

什么是Prompt-tuningPrompt-tuning通过修改输入文本的提示(Prompt)来引导模型生成符合特定任务或情境的输出,而无需对模型的全量参数进行微调。
这种方法利用了预训练语言模型(PLM)在零样本或少样本学习中的强大能力,通过修改输入提示来激活模型内部的相关知识和能力。
Prompt-tuning
核心原理:PLM(预训练模型)不变,W(模型的权重)不变,X(模型输入)改变。
Prompt-tuning
如何进行Prompt-tuning小模型适配下游任务
设计任务相关提示模板,并微调提示嵌入以引导预训练模型适应特定任务。仅需微调少量提示嵌入(Prompt Embeddings),而非整个模型参数。
Prompt-tuning
  1. 设计提示模板

  • 模板中应包含任务描述、输入文本占位符、输出格式要求等元素。

  • 准备数据集

    • 数据集应包括输入文本、真实标签(对于监督学习任务)或预期输出格式(对于生成任务)。

  • 微调提示嵌入

    • 在预训练模型的输入层添加提示嵌入层,使用数据集对模型进行训练,特别是微调提示嵌入。

    Prompt-tuning

    方式二:Prefix-tuning

    什么是Prefix-tuning?Prefix-tuning是Prompt-tuning的一种变体,它通过在输入文本前添加一段可学习的“前缀”来指导模型完成任务。
    这个前缀与输入序列一起作为注意力机制的输入,从而影响模型对输入序列的理解和表示。由于前缀是可学习的,它可以在微调过程中根据特定任务进行调整,使得模型能够更好地适应新的领域或任务。
    Prefix-tuning
    核心原理:PLM(预训练模型)不变,W(模型的权重)不变,X(模型输入)不变,增加W'(前缀嵌入的权重)。

    Prefix-tuning

    如何进行Prefix-tuning?在 Transformer 中适配下游任务

在Transformer模型的输入层或各层输入前添加可学习的前缀嵌入,并通过训练这些前缀嵌入来优化模型在特定任务上的表现。
  1. 初始化前缀嵌入

  • 在Transformer模型的输入层之前,初始化一个固定长度的前缀嵌入矩阵。

  • 将前缀嵌入与输入序列拼接

    • 将初始化好的前缀嵌入与原始输入序列的词嵌入进行拼接,形成新的输入表示。这个新的输入表示将作为Transformer模型各层的输入。

  • 训练模型

    • 在训练过程中,模型会根据输入序列(包括前缀嵌入)和标签数据进行学习。通过反向传播算法,模型会更新前缀嵌入的参数。

    Prefix-tuning

    方式三:LoRA

    什么是LoRA?LoRA(Low-Rank Adaptation)通过分解预训练模型中的部分权重矩阵为低秩矩阵,并仅微调这些低秩矩阵的少量参数来适应新任务。

    对于预训练权重矩阵W0Rd×d,LoRa限制了其更新方式,即将全参微调的增量参数矩阵ΔW表示为两个参数量更小的矩阵A、B,即ΔW = AB。

    其中,BRd×rARr×d为LoRA低秩适应的权重矩阵,秩r远小于d

    LoRA

    核心原理:W(模型的权重)不变,X(模型输入)不变,分解ΔW(分解为两个低秩矩阵A、B)。

    LoRA
    如何进行LoRA微调在冻结预训练模型权重的基础上,通过优化算法训练低秩矩阵A和B以近似增量参数,最小化下游任务损失,从而实现高效的模型微调
    1. 设置LoRA模块

    • 在预训练模型的基础上,添加LoRA模块。LoRA模块通常包含两个参数量较少的矩阵A和B,它们的乘积用于近似全参数微调中的增量参数。

    • 初始化矩阵A和B,通常使用高斯函数进行初始化,以确保训练开始时LoRA的旁路(即BA)为0,从而与全参数微调有相同的起始点。

  • 训练LoRA模块

    • 在训练过程中,冻结预训练模型的权重,仅训练LoRA模块中的矩阵A和B。

    • 通过优化算法(如Adam)更新矩阵A和B的参数,以最小化下游任务的损失函数。

    LoRA
    LLaMA-Factory通过集成LoRA微调方法,为大型语言模型提供高效、低成本的微调方案,支持多模型、多算法和实时监控,仅训练低秩矩阵实现快速适应新任务
    LLaMA-Factory
    LoRA参数主要包括秩(lora_rank,影响性能和训练时间)、缩放系数(lora_alpha,确保训练稳定)和Dropout系数(lora_dropout,防止过拟合),它们共同影响模型微调的效果和效率。

    1. 秩(Rank)

    • 参数名称lora_rank

    • 描述:秩是LoRA中最重要的参数之一,它决定了低秩矩阵的维度。

    • 常用值:对于小型数据集或简单任务,秩可以设置为1或2;对于更复杂的任务,秩可能需要设置为4、8或更高。

    2. 缩放系数(Alpha)

    • 参数名称lora_alpha

    • 描述:缩放系数用于在训练开始时对低秩矩阵的更新进行缩放。

    • 常用值:缩放系数的具体值取决于秩的大小和任务的复杂度。

    3. Dropout系数

    • 参数名称lora_dropout

    • 描述:Dropout系数决定了在训练过程中随机丢弃低秩矩阵中元素的概率。

    • 常用值:Dropout系数的常用值范围在0到1之间。

    LoRA

53AI,企业落地大模型首选服务商

产品:场景落地咨询+大模型应用平台+行业解决方案

承诺:免费POC验证,效果达标后再合作。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

添加专属顾问

回到顶部

加载中...

扫码咨询

扫码登录
登录即表示您同意《53AI网站服务协议》
服务协议

欢迎您使用【53AI 官方网站】(以下简称“本网站”或“我们”)。本《会员服务协议》(以下简称“本协议”)是您(以下简称“会员”或“用户”)与【深圳市博思协创网络科技有限公司】之间关于注册、登录及使用本网站会员服务所订立的法律协议。

在您注册或登录前,请务必审慎阅读、充分理解各条款内容,特别是免除或限制责任的条款、知识产权条款、争议解决条款等。此类条款将以加粗形式提示您注意。 当您通过微信公众号授权、手机验证码验证或其他方式成功登录本网站时,即视为您已完全理解并同意接受本协议的全部内容。

一、 定义

本网站:指由【深圳市博思协创网络科技有限公司】运营的,域名为【53ai.com】的网站及相关移动端页面。

会员服务:指本网站向注册会员提供的知识库文章查阅、内容检索及其他相关增值服务。

知识库内容:指本网站发布的包括但不限于文字、图表、数据、研究报告、行业分析等数字化内容资源。

二、 账号注册与登录

登录方式:本网站支持以下登录方式,您可根据实际情况选择:

微信公众号授权登录:您同意将您的微信OpenID信息授权给本网站,用于创建或关联会员账号。

手机验证码登录:您需提供真实有效的手机号码,并通过短信验证码完成身份验证与登录/注册。

账号安全:您的账号仅限您本人使用,禁止赠与、借用、租用、转让或售卖。因您保管不善导致的账号被盗、密码泄露等损失,由您自行承担。

实名认证:根据相关法律法规要求,我们可能要求您在特定功能下完成实名认证。如您拒绝提供,可能无法使用部分或全部服务。

未成年人保护:若您未满18周岁,请在法定监护人的陪同下阅读本协议,并在征得监护人同意后使用本服务。

三、 服务内容与规范

知识库查阅权限:会员登录后,有权按照其会员等级对应的权限范围,在线浏览、检索本网站知识库中的相关文章及内容。

服务变更:我们有权根据业务发展需要,调整、变更或终止部分服务内容,并将以网站公告、公众号消息等方式提前通知。

禁止行为:您在使用服务时不得实施以下行为:

利用技术手段批量爬取、下载、转存知识库内容;

将知识库内容用于商业目的或未经授权地向第三方传播;

干扰本网站正常运行或侵犯其他用户合法权益;

发布违法违规信息或从事违反公序良俗的活动。

四、 知识产权声明

权利归属:本网站知识库中的排版设计、软件代码等内容的知识产权均归【公司全称】或原权利人所有,受《中华人民共和国著作权法》等法律保护。

有限许可:本网站授予会员一项非独占、不可转让、不可转授权的普通许可,仅限于个人学习、研究之目的在线查阅知识库内容。

侵权追责:未经书面许可,任何单位或个人不得以任何形式复制、转载、摘编、镜像、汇编或以其他方式使用上述内容。一经发现,我们保留追究其法律责任的权利。

五、 个人信息保护

我们重视对您个人信息的保护。关于我们如何收集、使用、存储和保护您的个人信息,请单独阅读 《隐私政策》。

您通过微信公众号授权或手机号验证所提供的信息,我们将严格按照《个人信息保护法》的规定处理,仅用于身份识别、服务提供及安全验证等必要用途。

您可以随时通过网站设置或联系客服行使查阅、更正、删除个人信息及撤回授权同意的权利。

六、 免责声明

内容准确性:知识库内容仅供参考,不构成专业建议。我们不对其完整性、准确性、时效性作任何明示或暗示的保证,您应自行判断并承担使用风险。

不可抗力:因自然灾害、政策法规变化、网络故障、第三方平台接口异常(如微信接口维护、运营商短信通道故障)等不可抗力导致的服务中断或延迟,我们不承担违约责任。

第三方链接:本网站可能包含指向第三方网站的链接,该等网站的内容和服务不受我们控制,请您自行甄别风险。

七、 违约责任

如您违反本协议约定,我们有权视情节采取警告、限制功能、暂停服务、注销账号等措施,并保留要求赔偿损失的权利。

如因您的违约行为导致我们遭受行政处罚、第三方索赔或商誉损失,您应承担全部赔偿责任(包括但不限于罚款、赔偿金、律师费、公证费等)。

八、 法律适用与争议解决

本协议的订立、执行和解释均适用中华人民共和国大陆地区法律。

因本协议产生的或与本协议有关的任何争议,双方应友好协商解决;协商不成的,任何一方均可向【公司所在地】有管辖权的人民法院提起诉讼。

九、 其他

本协议构成双方就本服务达成的完整协议,取代此前任何口头或书面约定。

本协议任一条款被认定为无效或不可执行的,不影响其他条款的效力。

我们对本协议享有最终解释权,并在法律允许的范围内保留随时修改的权利。修改后的协议一经公布即生效,继续使用服务即视为同意修订内容。


已查阅