我要投稿

实测：三款垃圾CPU推理Llama3 8B

发布日期：2024-06-15 11:18:51 浏览次数： 3881

作者：古哒哒研究所

微信搜一搜，关注“古哒哒研究所”

经常有一些朋友问我本地运行大模型的电脑需要什么样的配置。其实一些常用大模型的运行需要的硬件并不像我们想象的那样高不可攀。不要被那些复杂的技术术语所吓倒，关键在于亲自动手尝试。

"不试，怎么知道呢？" 这句话道出了真理。今天，我将为大家带来三款看似不起眼的纯CPU本地推理Llama3的实测数据，希望它们的表现能给大家对硬件的选择提供一点参考，即使是老旧的硬件也可能在大模型本地推理中发挥出色的作用。

首先，让我们来认识一下今天的三位选手：

一号选手：这是一款陪伴了我十年的SONY笔记本，搭载的是i5 3337U低电压处理器。这款处理器曾是超极本的标配，以其低功耗、低性能和长续航而闻名。记得这台笔记本当年我花掉了一万多，那时我的工资还不到两千。如今，它在二手市场上已难觅踪影。今天，就让我们看看这台老将是否还能发挥余热。

二号选手：这是一台办公室配置的办公电脑，搭载了i5 10400处理器。虽然它已经有些年头，但与新一代的i3 12代处理器相比，它可能只能被按在地上摩擦。在个人电脑市场，性价比更高的12100处理器无疑是更好的选择，它在性能上轻松超越了我们的二号选手。

三号选手：最后，我有一款洋垃圾E5-2686处理器。虽然它被称为“垃圾”，但在体格上，它与前两位选手完全不是一个量级。特别是在大模型推理方面，它拥有多核心的碾压性优势，这一点无需多言。

现在，让我们直接进入正题，展示这些CPU在大模型推理中的实测数据。

i5 3337U：

耗时三分五秒，输出170个字，图上统计181是因为我把我的提问也复制过去了，大概就是每秒一个字的样子。

跑是跑起来了，步子确实有点小，十年前的CPU意料之中。

i5 10400：

用时1分38秒输出210个字，这个速度还是有点慢，如果跑个2B3B的小模型实用性就有那么一点点了，如果i3 12100出手肯定比这个速度快得多。i3 12100才几多钱？llama3 8b轻松拿捏。

E5-2686：

18核36线程不白给，34秒输出215个字，完全满足本地使用的需求，就他的价格，没有任何喷他的理由

今天就到这里，See you ~~

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-10-29

KnowFlow 无缝衔接 Dify，分块支持添加父标题、Title 切块支持自定义标题层级切割、图片理解新增支持上下文

2025-10-28

邪修榨干元宝AI录音笔：白天工作，晚上陪聊

2025-10-27

免费又好用的AI录音笔都出来了，这下哪还有理由不学习？

2025-10-24

Aiops探索：我用Dify结合k8s的api做了一个非常简单的Aiops智能体

2025-10-24

阿里夸克AI眼镜开售：叠加补贴后3699元，它能打破AI眼镜的魔咒吗？

2025-10-23

Dify平台集成阿里云AI安全护栏，构建AI Runtime安全防线

2025-10-13

Dify + 飞书组合拳：企业级 AI 安全大脑落地全指南，助力安管效率提升 300%

2025-09-23

专访Plaud中国区CEO：我们只做“必须做”和“不做要死”的事

了解更多

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

刚刚，港版 iPhone 17 Air 抢空！eSIM+系统级AI，国行果粉实名羡慕

2025-09-19

AI录音卡片大比拼：一文讲懂谁更值得买

2025-09-02

Dify + 飞书组合拳：企业级 AI 安全大脑落地全指南，助力安管效率提升 300%

2025-10-13

AI硬件的Aha Moment到了吗？

2025-09-02

阿里夸克AI眼镜开售：叠加补贴后3699元，它能打破AI眼镜的魔咒吗？

2025-10-24

我用飞书表格，实现门店的多屏的无人化管理

2025-08-25

Rokid Glasses优化设想

2025-09-05

为什么钉钉、360也要入局AI录音卡片？被种草之后一个反思：虽然很好用，但Rabbit R1的致命问题依旧存在

2025-09-02

我把滴滴出行MCP当成老年机来用，效果太棒了

2025-08-22

一款让人欲罢不能的AI硬件

2025-08-28

大家都在问

免费又好用的AI录音笔都出来了，这下哪还有理由不学习？

2025-10-27

阿里夸克AI眼镜开售：叠加补贴后3699元，它能打破AI眼镜的魔咒吗？

2025-10-24

AI硬件的Aha Moment到了吗？

2025-09-02

粉笔推出AI智能音箱：AI战略重要一环？

2025-08-15

微信支付这波操作把我干懵了，Agent能赚钱？

2025-07-08

OpenAI 的第一款 AI 硬件，竟然是一支笔？

2025-07-08

企业当前适合引入大模型驱动的智能运维吗？

2025-05-27

我们是否应该用 Lite-GPU 构建 AI 集群？

2025-05-24

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB

应聘简历请发送至： [email protected]

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部