我要投稿

炸裂！最强开源模型新王通义千问2.5 72B被我用4GB老显卡本地跑通了！

发布日期：2024-09-21 11:47:47 浏览次数： 2824

作者：AI统治世界计划

微信搜一搜，关注“AI统治世界计划”

炸裂！最强开源模型一夜之间易主。

阿里发布千问2.5模型，72B版本在MMLU、MATH、MBPP等大部分评测指标上都超过了Llama3 405B，甚至一些指标也超过了GPT4o。正式加冕最强开源模型新王！

今天要挑战用我的4GB老显卡不做量化、不做压缩，看看能不能跑起来这个72B模型。

X上边各个国家也都爆发了关于Qwen模型的讨论：

01

我的4GB老显卡还能用吗？

A100，H100暂时还没有购入，主要的原因是穷。

目前主力显卡是一个4GB的老显卡：

4GB显卡直接尝试运行时，是这个画风：

02

72B的千问有多大？

72B的千问用18T个token训练而成，有80层。加载这个模型大概需要37块我这样的4GB显卡。差得不多。还差36块。

因此需要想一个办法。

03

分层推理

解决方案就是分层推理，每次只80层中的一层进显存：

04

开源

代码全部开源到了开源项目AirLLM中，可以在github找到。

除了QWen2.5，AirLLM也支持Llama3 400B，Mixtral等模型。

叠个甲：4GB能跑但是速度肯定不会太快（4GB的卡还要啥自行车啊？）因此不适合chatbot等实时场景，仅适合异步数据处理等场景。

推理过程只需要几行代码：

from airllm import AutoModel
MAX_LENGTH = 128model = AutoModel.from_pretrained("Qwen/Qwen2.5-72B-Instruct")
input_text = ['What is the capital of United States?',]
input_tokens = model.tokenizer(input_text,return_tensors="pt", return_attention_mask=False, truncation=True, max_length=MAX_LENGTH, padding=False)
generation_output = model.generate(input_tokens['input_ids'].cuda(), max_new_tokens=20,use_cache=True,return_dict_in_generate=True)
output = model.tokenizer.decode(generation_output.sequences[0])
print(output)

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-11-04

百灵大模型 Ling 和 Ring 系列首发支持 SGLang-JAX 推理引擎

2025-11-04

首个国产开源AI原生后端，不再写后端，AI就是全栈工程师。

2025-11-04

DeepCode: 用多智能体架构重新定义代码生成

2025-11-04

AI Infra：POINTS-Reader，腾讯开源的文档解析和OCR工具

2025-11-03

震惊，Github开源，真正让程序员效率提升 90%的AI辅助工具来啦！！！

2025-11-03

Dify迎来最强开源对手！这个本地Agent内置微调+超细权限控制~

2025-11-03

我们大胆做了个决定，大会所有音乐bgm由AI生成，这部分预算可以省了！｜Jinqiu Scan

2025-11-03

LongCat-Flash-Omni 正式发布并开源：开启全模态实时交互时代

了解更多

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

DeepSeek V3.1 Base / Instruct 发布

2025-08-20

阿里Qoder vs Trae vs Cursor：谁才是2025年程序猿的效率之王？

2025-09-07

DeepSeek-V3.1-Base来了！MoE架构+128K上下文，性能再进化

2025-08-20

重磅开源！通义万相最新模型来了

2025-08-26

阿里AI编程 IDE Qoder 正式发布，BAT 终于凑齐了！

2025-08-22

开源发布！适合中国宝宝的 LangGraph 智能体开发模板！

2025-09-06

DeepSeek又开源，这次是OCR模型！附论文解读！

2025-10-20

DeepSeek-V3.1发布，拿下全球开源第一，确实可以封神了！（附一手实测）

2025-08-22

Claude不让用，有哪些国产模型能迎头赶上？

2025-09-08

智谱发布开源视觉推理模型GLM-4.5V，刷新41项多模态推理SOTA

2025-08-12

大家都在问

DeepSeek-OCR到底厉害在哪？

2025-11-03

n8n如何调用最近爆火的deepseek OCR？

2025-10-29

小红书入局AI智能体开源DeepAgent，在计划什么更新？

2025-10-28

埃森哲的大裁员，向市场发出了什么信号？

2025-10-13

DeepSeek-V3.2背后的国产算子编程语言TileLang是什么？如何保持性能领先的同时减少6倍代码量？

2025-09-29

Qwen3-Next 首测！Qwen3.5的预览版？但为什么我的测试一塌糊涂？

2025-09-17

Dify Pre-release版本来了，Dify2.0时代不远了，看看有哪些进步？

2025-09-09

Claude不让用，有哪些国产模型能迎头赶上？

2025-09-08

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB

应聘简历请发送至： [email protected]

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部