我要投稿

RLHF 是如何工作的？

发布日期：2024-06-10 14:55:07 浏览次数： 2736

作者：跳动的数据

微信搜一搜，关注“跳动的数据”

基于人类反馈的强化学习（RLHF）是一种机器学习（ML）技术，它利用人类反馈来优化 ML 模型，从而更有效地进行自我学习。强化学习技术可训练软件做出可最大限度地提高回报的决策，使其结果更加准确。RLHF 将人类反馈纳入奖励功能，因此 ML 模型可以执行更符合人类目标、愿望和需求的任务。RLHF 广泛应用于生成式人工智能（生成式 AI）应用程序，包括大型语言模型（LLM）。

RLHF 是如何工作的？

1. 给定

奖励模型 (RM) , 大型语言模型 (LLM)，两组 (提示，下一个词) 。

训练奖励模型 (RM)

目标：学习为赢家提供更高的奖励

2. 偏好

审查这两组词并挑选 "赢家"；(文档是，他) < (文档是，他们) 因为前者有性别歧视。

3-6 计算词组 1 (输家) 的奖励

3. 词嵌入

将词转换为词嵌入作为奖励模型 (RM) 的输入

4. 线性层

将输入向量与奖励模型的权重和偏差 (4x4 矩阵) 相乘

输出：特征向量

5. 平均池

将特征与列向量 [1/3, 1/3, 1/3] 相乘，达到跨三个位置对特征进行平均的效果

输出：句子嵌入向量

6. 输出层

将句子嵌入向量与权重和偏差 (1x5 矩阵) 相乘

输出：奖励 = 3

7. 词组 2 (赢家) 的奖励

重复步骤 [3]-[6]

输出：奖励 = 5

8. 赢家 vs. 输家奖励

计算赢家和输家奖励的差值

奖励模型希望这个差距尽可能大且为正数

5 - 3 = 2

9. 损失梯度

将奖励差距映射为概率值作为预测: σ(2) ≈ 0.9

通过预测 - 目标计算损失梯度: 0.9 - 1 = -0.1

目标是 1，因为我们想要最大化奖励差距。

运行反向传播和梯度下降来更新奖励模型的权重和偏差 (紫色边框)

调整 LLM

目标：更新权重以最大化奖励

10. 提示 -> 词嵌入

这个提示从未直接接收过人类反馈

[S] 是特殊的开始符号

11. Transformer

注意力机制 (黄色)

前馈网络 (4x2 权重和偏差矩阵)

输出：3 个 "转换后" 的特征向量，每个位置一个

12. 输出概率

对每个转换后的特征向量应用线性层将其映射到词汇表上的概率分布。

13. 采样

应用贪婪算法，即选择分数最高的词

对于输出 1 和 2，模型准确地预测了下一个词

对于第三个输出位置，模型预测了 "him"

14. 奖励模型

将新词组 (CEO 是, him) 输入到奖励模型

过程与步骤 [3]-[6] 相同

输出：奖励 = 3

15. 损失梯度

我们将损失设置为奖励的负值。

损失梯度只是一个常数 -1。

运行反向传播和梯度下降来更新 LLM 的权重和偏差 (红色边框)

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2026-01-12

使用 IChatReducer 进行聊天记录缩减

2026-01-12

“基模四杰”开年首炸：Chat已死，Agent已来

2026-01-11

Anthropic联创：还不存在真正递归自我改进的AI！曝内部调查结果：AI未必能实现开发效率爆炸式增长；Claude也能修水管，看好分布式预训练

2026-01-11

Claude Skill 快照：给你的 AI 技能迭代加个「后悔药」

2026-01-11

Step-DeepResearch：深度研究的全能选手，规划、检索、反思一网打尽！

2026-01-11

静态分析只能查规则，AI 才能懂语义：PR-Agent 和 ESLint/Sonar 的正确分工

2026-01-11

订阅 Google One，一个人交钱六个人用 Gemini Pro

2026-01-11

你的Excel已觉醒！AI-by-Hand-Excel如何将普通表格变成超级智能助手？

了解更多

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

马斯克 Grok imagine 完整使用指南：工具、案例、提示词，看这一篇就够了！

2025-10-26

我挖到Gemini 3.0 Pro十大隐藏玩法，做网页已经落后N个版本了

2025-11-19

万字长文深度解析最新Deep Research技术：前沿架构、核心技术与未来展望

2025-10-20

深度体验TRAE SOLO 正式版，总结一点技巧(附完整可重现提示词和源码)

2025-11-13

从spec-kit到OpenSpec：规格驱动开发如何解决项目迭代痛点？

2025-10-18

实测｜DeepSeek-V3.2-Exp三大升级：长文本、多轮对话、开发支持

2025-10-21

ChatGPT 成人模式要来了，但作为成年人我一点都不高兴

2025-10-15

我错了，Gemini 做PPT不是“一般”，是“封神”。（尤其挖到第3层功能后…）

2025-11-03

ima 2.0升级：任务模式上线，一键激活2亿知识文件

2025-10-23

OpenAI 发布了浏览器 Altas，一手实测来了

2025-10-22

大家都在问

你的Excel已觉醒！AI-by-Hand-Excel如何将普通表格变成超级智能助手？

2026-01-11

独家实录｜唐杰、杨植麟、林俊旸、姚顺雨...All Star 对话上，大家聊了啥？

2026-01-10

Anthropic突然封禁第三方工具调用Claude，Cursor、OpenCode、xAI 集体“中枪”！项目做到一半突遭中断，官方解释是“误伤”？

2026-01-10

马斯克杀疯了！xAI官宣200亿美元融资，这次真能“干翻”OpenAI？

2026-01-08

2025四大AI怎么选？每月20美金，谁能当你的“全能外挂”？

2026-01-02

AGI的终极形态，是分布式集体智能？

2025-12-31

Manus联合创始人张涛：智能体Agent的终极形态是什么？

2025-12-31

Claude skills 底层逻辑是什么？

2025-12-31

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI AI知识库开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB Palantir Glean

应聘简历请发送至： [email protected]

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部