我要投稿

聊聊大模型采样策略

发布日期：2024-07-26 06:57:40 浏览次数： 3078

贪心搜索、波束搜索、Top-K采样、Top-p采样和温度都是影响LLM如何生成token的推理时参数，它们只是从离散概率分布中采样的方法，根据LLM输出的概率分布进行操作。

在Gradio中也是有这些常用的参数，而且合理的调参才有合适的输出。

Greedy search

Greedy search（贪婪搜索）是指在每个t时刻选择下一个词时，根据选择概率最高的词。

缺点：

由于每次都是寻找概率最高的词，因此很有可能会错过当前是低概率词后面的高概率词。即，只考虑当前的局部最优，而没有从整体的角度来考虑。

Beam search

Beam search（集束搜索）对贪心搜索进行了改进，扩大了搜索空间，更容易得到全局最优解。Beam Search 包含一个参数 beam size k，表示每一时刻均保留得分最高的 k 个序列，然后下一时刻用这 k 个序列继续生成。

从这里来看，该算法算是基于贪婪搜索的缺点来设计实现的。

缺点：

还是会产生局部最优问题。
在某些需要多样性的应用场景中，Beam Search可能会生成较为相似的答案，因为它倾向于选择评分最高的候选答案，这可能导致答案的多样性不足。

维特比算法能做到全局最优。

top-k采样

Top-K采样限制在一定数量要考虑的tokens。

在 Top-K 采样中，概率最大的 K 个词会被选出，然后这 K 个词的概率会被重新归一化，最后就在这重新被归一化概率后的 K 个词中采样。

top-p采样

Top-p采样限制在一定概率质量内的tokens。

temperature

其作用如下：

温度不是采样策略，而是softmax函数的参数，该函数是网络的最后一层。
温度影响概率分布的形状。
高温使token分布概率更加接近，也就是概率较低的token可能会出现。这使得输出更加“有创意”或随机。
低温通过放大概率差异使模型更加“确定”。这使得输出更具确定性。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2026-03-24

上下文工程的六大支柱之：压缩（Compression）和编排（Orchestration）

2026-03-24

Token的正式命名来了！

2026-03-24

Claude 推出电脑操作功能，向 Agent 方向迈进

2026-03-24

刚刚，Anthropic 发布官方「龙虾」，

2026-03-24

业务逻辑的“坍塌”：当应用层只剩下胶水代码，在 AI Agent 时代，我们该构建什么

2026-03-24

Claude Code 推出云端龙虾：/schedule 命令让 AI 自己排班干活

2026-03-24

Token批发转零售的三种溢价与半衰期

2026-03-23

阿里云重磅上线 Qoder 专家团模式，AI 编程进入组团作战时代

联系获取

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

Pencil：设计和写代码，以后就全让AI干了

2026-01-24

独家实录｜唐杰、杨植麟、林俊旸、姚顺雨...All Star 对话上，大家聊了啥？

2026-01-10

2026 开年 AI 工具推荐，让你新的一年效率起飞！（建议收藏）

2026-01-01

从0到1玩转Clawdbot：我花了40小时，把这些坑都踩完了

2026-01-26

终于！Gemini CLI支持Agent Skills，一键搬运Claude Code的“绝招”

2026-01-09

Claude Code Skills 国内实践全指南：从安装部署到高阶开发

2026-01-09

深度解析——为什么Claude code CEO Dario 如此反中？

2026-01-23

谷歌没想到：Antigravity 竟成了 Claude Code 的“免费充电宝”？

2025-12-30

不会封号的Claude Code使用方法！已稳定测试一个月，还能共享给团队。

2026-01-14

我装了 9 个 Skill，终于看懂了 Google Antigravity 的野心

2026-01-21

大家都在问

OpenAI不会干黄了吧？

2026-03-22

专访OpenAI首席科学家：我们离“AI自己做研究”有多远？

2026-03-22

编程选GPT-5.4，还是GPT-5.3-Codex？

2026-03-21

真实测评MiniMax M2.7，不吹不夸，它到底什么水平？

2026-03-20

深度分析：Agent Harness/框架到底有没有竞争壁垒？

2026-03-19

咨询 | OpenAI、Anthropic纷纷和咨询公司合作的背后，折射除了行业落地AI什么样的趋势？

2026-03-19

大伙都在养虾，MiniMax 带着新模型来偷偷上分了？

2026-03-19

Harness Engineering 为什么是 Agent 时代的“控制论”？

2026-03-18

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS Skill 提示词技巧 AI+电商 AI面试数字员工 ChatBI AI知识库开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB Palantir Glean Openclaw