我要投稿

实战教程：单台8卡4090部署满血671B，fp8性能媲美H20(141G)

发布日期：2025-08-25 10:47:19 浏览次数： 1592

作者：算力领跑者老王

微信搜一搜，关注“算力领跑者老王”

写在前面：

市场上用于部署满血671B的h20机器，一台的价格差不多一百二三十万，这个价格对于很多用户来说是一个很大的挑战。在AI落地如火如荼的当下，想办法降低算力使用成本是快速拥抱AI时代的优先选项。老王研究了市场上的不少方案，并结合工作实践，推荐一个性价比不错的选择，只需花H20(141G)一半的钱就可以实现企业级环境下的fp8精度671B满血能力。

(文章较长，耐心看完有惊喜哦 )

一、硬件系统需求

二、Ubuntu 22.04 Server版系统安装流程

本步骤过于简单，此处不再赘述

可参考：Ubuntu22.04 系统安装及配置

https://blog.csdn.net/cheagoun/article/details/139808169

三、KLLM一键化安装部署

补充说明：

a.KLLM是清华大学MADSys团队开发的高性能大模型推理引擎。（年初火爆全网的KTransformers就是这个团队的杰作）。

b.KLLM分为开源版与商业版两个版本，火爆全网的KTransformers属于开源版，开源版仅适用于个人；若想在企业级环境中使用，得商业版才行。

具体步骤：

1、从正规渠道获取商业版的软件安装包后，将安装包放入移动硬盘（本次安装包为：zhiwen-20250625_1520.tar.gz）可联系老王获取商业版软件包

2、插入安装部署的移动硬盘，以sdb1为例

3、使用命令查看移动硬盘是否插入

lsblk

4、将移动硬盘挂载到系统中

sudo mkdir -p /mnt/usb

sudo mount /dev/sdb1 /mnt/usb

5、复制安装包和模型到系统中

sudo mkdir -p /mnt/data/deploy

sudo mkdir -p /mnt/data/models

sudo cp -r /mnt/usb/zhiwen-20250625_1520.tar.gz /mnt/data/deploy/

sudo cp -r /mnt/usb/models/* /mnt/data/models/

6、安装部署，等待执行完成之后即可

cd /mnt/data/deploy/20250625_1520

sudo bash install.sh

四、镜像更新

下载最新安装包，并解压到/mnt/data/deploy目录。

cd /mnt/data/deploy

# 进入上一次的安装目录执行命令停止服务

sudo docker-compose -f docker-compose.yaml --env-file conf/config.env down

# 在进入新解压目录执行命令进行更新

sudo bash install.sh -u

五、服务检查

1、KLLM启动模型

在KLLM启动模型：

(KLLM支持20+模型部署，除了FP8精度的671B，还有不同精度的其他模型，如DeepSeek32B的int4、int8等多种精度部署)

填写到下面的高级设置中：

1.1、模型所需显存数量粗略计算

fp16 = 模型参数量 * 2 + 10G （比如14B模型全量，需要14 * 2 + 10 = 38 G）所以需要两张4090显卡

fp8 = 模型参数量 + 10G （比如32B-int8，需要 32 + 10 = 42 G）所以也需要两张4090显卡

1.2、查看模型最后支持的上下文长度

进入路径：/mnt/data/deploy/logs/ames/serve

并执行

ls -alh

2、跑671B FP8的实际测试数据

六、其他注意点

1、NVIDIA 显卡开启关闭ECC

（针对48G卡，只显示46G显存的情况）

• 查看ECC情况：

nvidia-smi -q -d ecc

关闭状态如下图，否则图中的“N/A”是有值的。

• 开启关闭ECC

通过nvidia-smi -i n -e 0/1

-i：第n号GPU的ECC模式

-e：可关闭(0)/开启(1)

重启后该设置生效

示例:

关闭ECC：nvidia-smi -i 0 -e 0

开启ECC：nvidia-smi -i 0 -e 1

2、Ubuntu 22.04 版本内核禁止升级操作步骤

在Ubuntu 22.04上禁止内核自动升级，步骤如下：

• 禁用unattended-upgrades

“unattended-upgrades”是一个用于安装安全更新的软件包。要禁用它，首先打开“/etc/apt/apt.conf.d/20auto-upgrades”文件：

vi /etc/apt/apt.conf.d/20auto-upgrades

将其中的“Unattended-Upgrade "1"; ”改为“Unattended-Upgrade "0";”以禁用自动更新，然后保存文件并退出。

APT::Periodic::Update-Package-Lists "1";

APT::Periodic::Unattended-Upgrade "0";

• 将当前内核版本锁定

要禁止特定的内核版本更新，您可以使用“apt-mark”命令将其锁定。

首先，检查当前的内核版本：

uname -r

例如，如果内核版本是“5.15.0-136-generic”，您需要锁定所有与此版本相关的软件包。可执行以下命令：

sudo apt-mark hold linux-image-5.15.0-136-generic linux-headers-5.15.0-136-generic linux-modules-5.15.0-136-generic linux-modules-extra-5.15.0-136-generic

查看是否锁定版本成功，显示hold表示锁定成功

dpkg --get-selections | grep linux-image