我要投稿

DeepSeek等8种大模型本地化部署及其表现

发布日期：2025-02-26 08:10:09 浏览次数： 2365

作者：单细胞组学

微信搜一搜，关注“单细胞组学”

背景

由于访问过多，目前满血版DeepSeek R1 （深度思考模式）使用经常受限：

付费API的deepseek-reasoner模式也同样受限：

OpenAI开放了免注册的chatbox，但还是有地区使用限制。

本地化部署大模型有多种方式：Ollama和vLLM等。本文主要介绍Ollama的蒸馏模型（Distilled models）部署及其表现。

目的

测试本地化部署的LLMs在单细胞注释分析中的表现

方法

1. 下载Ollama。直接在官网下载，很方便。

2. 加载模型。

ollama run deepseek-r1:7b

为了匹配用户的硬件条件，Ollama提供了不同大小的蒸馏模型。7b的蒸馏小模型比较适合大多数个人电脑（16GB内存）。这里的7b表示70亿参数量。模型文件的大小主要受参数量和精度（precision）影响。参数量和精度越高，对硬件的性能要求越大。为了方便做比较，ollama本地化部署模型的参数量和精度分别为7b～9b和4bit。

3. 测试本地化蒸馏模型在单细胞注释中的表现。

# 调用本地模型之前运行：ollama serve

git clone https://github.com/Zhihao-Huang/scPioneercd scPioneerRscript ./result/annotation_locally_test.R

结果

基于API的满血版大模型的结果：

本地化蒸馏模型的结果：

总结

1. 本地化部署的DeepSeek R1的准确率远不如满血版的DeepSeek。API的DeepSeek V3和DeepSeek R1的表现不俗。

2. 本地化模型中，llama3.1:8b的准确率最高；deepseek-r1的两个蒸馏版本70b和7b表现欠佳。

3. 7b+4bit的本地化模型需要5GB内存。CPU型号 Xeon(R) Gold 6238R CPU @ 2.20GHz，用50个逻辑核心数运行，需要1分钟左右。推荐个人电脑使用7b左右的参数量。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-11-05

2张4090竟能本地微调万亿参数Kimi K2！趋境联合清华北航把算力门槛击穿了

2025-11-05

基于昇腾NPU的Qwen3量化因子代码生成微调实战

2025-10-21

从零教你微调一个专属领域大模型，看完小白也能学会炼丹!（完整版）

2025-10-14

用Macbook微调Qwen3！手把手教你用微调给Qwen起一个新名字

2025-10-12

微调已死？Google 和斯坦福论文指出AI 学习新范式

2025-09-25

如何将 AI 代码采纳率从30%提升到80%？

2025-09-24

一位淘宝工程同学的大模型LoRA微调尝试

2025-09-20

在Colab中微调Qwen3-4B模型实战指南

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

手把手教你用LLaMA‑Factory微调医疗问答模型：从小白到专家的实战之路

2025-08-25

微调已死？Google 和斯坦福论文指出AI 学习新范式

2025-10-12

微调实战之上手训一个7b小模型

2025-08-23

让AI读懂代码需求：模块化大模型微调助力高效代码理解与迁移

2025-08-11

用Macbook微调Qwen3！手把手教你用微调给Qwen起一个新名字

2025-10-14

阿里云Qwen3系列模型部署微调评测

2025-09-07

如何将公司内部数据制作成大模型训练用的数据集

2025-09-04

微调Qwen2.5模型的完整指南

2025-09-09

WeChat-YATT：微信强化学习大模型训练库

2025-08-18

在Colab中微调Qwen3-4B模型实战指南

2025-09-20

大家都在问

如何将 AI 代码采纳率从30%提升到80%？

2025-09-25

大模型微调，为什么99%的企业都不应该碰这个坑？

2025-06-20

万不得已，不要对 LLM 进行微调？

2025-06-17

可以将任何符合OpenAPI规范的接口转 MCP Server吗？

2025-05-21

OpenAI发布GPT-4.1系列模型，对行业最大吸引力是什么？

2025-05-17

私有部署大模型需要多少显存？

2025-05-14

软件公司如何为AI的下半场做准备？

2025-05-10

LoRA为何成为大模型微调不可或缺的核心技术？

2025-05-07

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB