我要投稿

RLHF 是如何工作的？

发布日期：2024-06-10 14:55:07 浏览次数： 2559

作者：跳动的数据

微信搜一搜，关注“跳动的数据”

基于人类反馈的强化学习（RLHF）是一种机器学习（ML）技术，它利用人类反馈来优化 ML 模型，从而更有效地进行自我学习。强化学习技术可训练软件做出可最大限度地提高回报的决策，使其结果更加准确。RLHF 将人类反馈纳入奖励功能，因此 ML 模型可以执行更符合人类目标、愿望和需求的任务。RLHF 广泛应用于生成式人工智能（生成式 AI）应用程序，包括大型语言模型（LLM）。

RLHF 是如何工作的？

1. 给定

奖励模型 (RM) , 大型语言模型 (LLM)，两组 (提示，下一个词) 。

训练奖励模型 (RM)

目标：学习为赢家提供更高的奖励

2. 偏好

审查这两组词并挑选 "赢家"；(文档是，他) < (文档是，他们) 因为前者有性别歧视。

3-6 计算词组 1 (输家) 的奖励

3. 词嵌入

将词转换为词嵌入作为奖励模型 (RM) 的输入

4. 线性层

将输入向量与奖励模型的权重和偏差 (4x4 矩阵) 相乘

输出：特征向量

5. 平均池

将特征与列向量 [1/3, 1/3, 1/3] 相乘，达到跨三个位置对特征进行平均的效果

输出：句子嵌入向量

6. 输出层

将句子嵌入向量与权重和偏差 (1x5 矩阵) 相乘

输出：奖励 = 3

7. 词组 2 (赢家) 的奖励

重复步骤 [3]-[6]

输出：奖励 = 5

8. 赢家 vs. 输家奖励

计算赢家和输家奖励的差值

奖励模型希望这个差距尽可能大且为正数

5 - 3 = 2

9. 损失梯度

将奖励差距映射为概率值作为预测: σ(2) ≈ 0.9

通过预测 - 目标计算损失梯度: 0.9 - 1 = -0.1

目标是 1，因为我们想要最大化奖励差距。

运行反向传播和梯度下降来更新奖励模型的权重和偏差 (紫色边框)

调整 LLM

目标：更新权重以最大化奖励

10. 提示 -> 词嵌入

这个提示从未直接接收过人类反馈

[S] 是特殊的开始符号

11. Transformer

注意力机制 (黄色)

前馈网络 (4x2 权重和偏差矩阵)

输出：3 个 "转换后" 的特征向量，每个位置一个

12. 输出概率

对每个转换后的特征向量应用线性层将其映射到词汇表上的概率分布。

13. 采样

应用贪婪算法，即选择分数最高的词

对于输出 1 和 2，模型准确地预测了下一个词

对于第三个输出位置，模型预测了 "him"

14. 奖励模型

将新词组 (CEO 是, him) 输入到奖励模型

过程与步骤 [3]-[6] 相同

输出：奖励 = 3

15. 损失梯度

我们将损失设置为奖励的负值。

损失梯度只是一个常数 -1。

运行反向传播和梯度下降来更新 LLM 的权重和偏差 (红色边框)

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-09-12

运维老王：创业第十年，我用Elevo找回内心翻腾的梦想

2025-09-12

大模型可观测1-5-10：发现、定位、恢复的三层能力建设

2025-09-12

Qwen3-Next：用混合注意力和高稀疏 MoE 把训练与推理成本打下来

2025-09-12

阿里推出夸克医疗大模型：医考70%高分背后，RAG为何是“压舱石”？

2025-09-12

GPT-4o-mini 调用参数终极优化手册

2025-09-12

刚刚，ChatGPT支持MCP了！一句Prompt即可全自动化

2025-09-11

阿里云，这次杀疯了，断档第一

2025-09-11

利用抽象语法树AST提升代码问答的深度与精度（下）

了解更多

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

DeepSeek-V3.1 发布，迈向 Agent 时代的第一步

2025-08-21

精|知识探索新范式：深度研究Deep Research智能体全面综述，系统、方法与应用

2025-06-21

DeepSeekV3.1 提到的 UE8M0 FP8 Scale 是什么？下一代国产芯片设计？

2025-08-21

DeepSeek V3.1 测评

2025-08-19

能办成事的 Agent：实时与环境交互，从经验中学习

2025-06-19

科普｜一文看懂AI发展史：主要发展阶段与改变世界的突破性事件

2025-06-15

WAIC 2025 观察：大模型进入“效率与场景”决胜期

2025-07-29

AI大家说 | 下一代AI创业的机会在哪里？定价趋势是什么？

2025-09-08

DeepSeek突然更新V3.1：实测后才发现的亮点与槽点

2025-08-19

DeepSeek v3.1 到底有多强？与 Claude Code 一起实测！

2025-08-20

大家都在问

阿里推出夸克医疗大模型：医考70%高分背后，RAG为何是“压舱石”？

2025-09-12

AI市场调查实战：如何让AI帮你搜全网特定规格的产品？

2025-09-11

Embedding-审核场景下都可以在哪里应用？

2025-09-11

nano banana 文生图模型有哪些具体的应用场景？

2025-09-09

Claude Code：极简架构 + 万字提示词 = 最强开发者智能体？

2025-09-09

观察 | 面临经济下行和AI的双重冲击，企业顾问如何突破困局？

2025-09-08

AI大家说 | 下一代AI创业的机会在哪里？定价趋势是什么？

2025-09-08

砸数万元将产品植入Deepseek，AI还能被骗多久？

2025-09-07

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB

应聘简历请发送至： [email protected]

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部