我要投稿

聊聊大模型采样策略

发布日期：2024-07-26 06:57:40 浏览次数： 2954

贪心搜索、波束搜索、Top-K采样、Top-p采样和温度都是影响LLM如何生成token的推理时参数，它们只是从离散概率分布中采样的方法，根据LLM输出的概率分布进行操作。

在Gradio中也是有这些常用的参数，而且合理的调参才有合适的输出。

Greedy search

Greedy search（贪婪搜索）是指在每个t时刻选择下一个词时，根据选择概率最高的词。

缺点：

由于每次都是寻找概率最高的词，因此很有可能会错过当前是低概率词后面的高概率词。即，只考虑当前的局部最优，而没有从整体的角度来考虑。

Beam search

Beam search（集束搜索）对贪心搜索进行了改进，扩大了搜索空间，更容易得到全局最优解。Beam Search 包含一个参数 beam size k，表示每一时刻均保留得分最高的 k 个序列，然后下一时刻用这 k 个序列继续生成。

从这里来看，该算法算是基于贪婪搜索的缺点来设计实现的。

缺点：

还是会产生局部最优问题。
在某些需要多样性的应用场景中，Beam Search可能会生成较为相似的答案，因为它倾向于选择评分最高的候选答案，这可能导致答案的多样性不足。

维特比算法能做到全局最优。

top-k采样

Top-K采样限制在一定数量要考虑的tokens。

在 Top-K 采样中，概率最大的 K 个词会被选出，然后这 K 个词的概率会被重新归一化，最后就在这重新被归一化概率后的 K 个词中采样。

top-p采样

Top-p采样限制在一定概率质量内的tokens。

temperature

其作用如下：

温度不是采样策略，而是softmax函数的参数，该函数是网络的最后一层。
温度影响概率分布的形状。
高温使token分布概率更加接近，也就是概率较低的token可能会出现。这使得输出更加“有创意”或随机。
低温通过放大概率差异使模型更加“确定”。这使得输出更具确定性。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2026-02-06

国产最强 AI 进军终端！Kimi Code CLI 正式发布，让你的命令行直接起飞

2026-02-06

GPT-5.3-Codex突然登场！AI能自己造自己了

2026-02-06

AI记忆正成为新操作系统：检索已过时，生成式记忆才是未来

2026-02-06

简单就是美！Claude Code Ralph循环机制详解

2026-02-06

OpenAI 发布 GPT-5.3-Codex，一文详解

2026-02-06

火拼升级！OpenAI、Anthropic同日发布新模型，一个能替你写代码，一个能替公司管流程

2026-02-06

Claude Code最佳实践

2026-02-06

Claude Agent SDK 构建 AI Agent 实践：服务端向 Claude Agent SDK 注入环境变量的实践

联系获取

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

Pencil：设计和写代码，以后就全让AI干了

2026-01-24

独家实录｜唐杰、杨植麟、林俊旸、姚顺雨...All Star 对话上，大家聊了啥？

2026-01-10

我挖到Gemini 3.0 Pro十大隐藏玩法，做网页已经落后N个版本了

2025-11-19

深度体验TRAE SOLO 正式版，总结一点技巧(附完整可重现提示词和源码)

2025-11-13

从0到1玩转Clawdbot：我花了40小时，把这些坑都踩完了

2026-01-26

2026 开年 AI 工具推荐，让你新的一年效率起飞！（建议收藏）

2026-01-01

Codex 史诗级更新！引入 Skills 技能库，直接兼容 Claude 生态，开发效率原地起飞

2025-12-09

国内版的 NotebookLM 来了，甚至更强

2025-11-12

终于！Gemini CLI支持Agent Skills，一键搬运Claude Code的“绝招”

2026-01-09

Claude赢麻了？OpenAI Codex正式支持Skills，GitHub连夜上车！

2025-12-21

大家都在问

谁动了我的电脑？谁应该抱怨？

2026-02-04

刚刚！OpenAI 正式发布 Codex App，一人指挥一支 AI 军队，Cursor 慌了？

2026-02-03

谷歌Genie 3打崩游戏股！1小时500元的AI生成游戏，真能革游戏的命？

2026-02-03

史上最强编程模型Claude 5泄露，最慌的是黄仁勋？

2026-02-02

X上点赞近万的Claude Agent SDK教程，到底讲了什么？

2026-02-02

人人都在谈论ClawdBot，但你真的懂它的技术原理吗？

2026-02-02

刚刚，谷歌版「世界模型」震撼公测！网友实测炸翻天：游戏末日来了？

2026-01-31

Transformers V5正式发布！这次更新到底香不香？

2026-01-30

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI AI知识库开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB Palantir Glean