Xinference 大模型部署指南

一、服务器信息

• CPU：Intel(R) Xeon(R) Gold 5416S

• 内存：128GB

• 硬盘：2 x 1TB SSD

• GPU：2 x NVIDIA RTX 4090 24GB

• 操作系统：Oracle Linux 8.10

二、安装NVIDIA 显卡驱动和 CUDA

2.1 安装内核头文件等依赖包

yum install -y kernel-uek-devel gcc make dkms elfutils-libelf-devel

安装完成后确保 kernel 与 kernel-devel 对应

如图所示：

2.2 下载并安装驱动

• 驱动下载地址：

https://www.nvidia.com/en-us/drivers/results/

NVIDIA-Linux-x86_64-570.133.07

chmod +x NVIDIA-Linux-x86_64-570.133.07.run ./NVIDIA-Linux-x86_64-570.133.07.run

• CUDA下载地址

https://developer.nvidia.com/cuda-12-4-0-download-archive?target_os=Linux&target_arch=x86_64&Distribution=RHEL&target_version=8&target_type=runfile_local

CUDA 12.4 runfile (local)

下载后执行以下命令：

chmod +x cuda_12.4.0_550.54.14_linux.run ./ cuda_12.4.0_550.54.14_linux.run

2.3 验证驱动是否安装成功

nvidia-smi

若能正确显示显卡信息，则安装成功。如图所示：

三、安装Conda

3.1 安装 Miniconda

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.shbash Miniconda3-latest-Linux-x86_64.sh

按提示安装后，执行以下命令使 conda 生效：

source ~/.bashrc

3.2 创建并激活虚拟环境

conda create -n xinference python=3.10 -yconda activate xinference

四、安装Xinference 及相关依赖

4.1 安装 xinference（vllm 版本）

pip install "xinference[vllm]"

4.2 安装 flashinfer

pip install flashinfer -i https://flashinfer.ai/whl/cu124/torch2.4

参考文档：

https://inference.readthedocs.io/zh-cn/latest/getting_started/installation.html#vllm-backend

xinference安装指南

4.3 安装 sentence-transformers

pip install sentence-transformers

五、启动Xinference 服务

1、确保xinference环境已激活，如图所示，如未激活，执行下面命令激活。

conda activate xinference

2、启动xinference服务

nohup bash -c "HF_ENDPOINT=https://hf-mirror.com XINFERENCE_HOME=/data/xinferenceNew CUDA_VISIBLE_DEVICES=0,1 xinference-local --host 0.0.0.0 --port 9997" &

启动命令参数说明：

• nohup：命令在后台运行。

• bash -c "..."：通过 bash 执行一系列设置和命令。

• HF_ENDPOINT=https://hf-mirror.com：指定 Hugging Face 国内镜像地址，用于加速模型下载。

• XINFERENCE_HOME=/data/xinference：xinference 的工作路径，用于保存模型文件和缓存。

• CUDA_VISIBLE_DEVICES=0,1：指定使用 GPU 的编号（2块显卡）。

• xinference-local：启动本地模式。

• --host 0.0.0.0：监听所有 IP，外部网络可访问。

• --port 9997：指定 Web 服务监听端口。

六、模型加载示例

http://10.0.110.20:9997/

6.1 启动重排序模型

6.2 启动嵌入模型

6.3 启动语言模型

参数说明：

• gpu_memory_utilization: 指定每张 GPU 最多使用其 80% 的显存（0~1 之间），防止显存占满。

• max_num_seqs: 最大并行推理序列数量，此处设置最多同时处理 30 个用户请求。

• max_model_len: 模型输入 token 的最大长度，最多 40960 个 token。

6.4 正在运行的模型

如图所示，已成功运行语言模型qwq 32b，嵌入模型bge-m3，重排序模型bge-reranker-large

七、Conda 的一些常用命令及其功能介绍

如果有conda 常用命令不是很清楚的，可细看Conda 的一些常用命令及其功能介绍：

 7.1、查看所有环境

conda env list

显示所有已创建的 Conda 环境，当前使用的环境前会标有一个星号 *

 7.2、创建新环境

conda create --name myenv python=3.10

创建一个名为 myenv的新环境，并指定 Python 版本为 3.10。你可以根据需要安装其他包。

 7.3、激活环境

conda activate myenv

激活名为 myenv的环境，之后安装的包将只在该环境中生效。

 7.4、退出/停用当前环境

conda deactivate

退出当前环境，回到 base（基础）环境或系统环境。

7.5、删除环境

conda remove --name myenv --all

删除名为 myenv的环境及其所有包。

7.6、安装包

conda install numpyconda install numpy pandas matplotlib

7.7、更新包

conda update numpy

更新当前环境中的 numpy包到最新版本。