本文介绍了如何使用 Docker 部署 Xinference 推理框架，并演示了如何启动和运行多种大模型，包括大语言模型、图像生成模型和多模态模型。还讲解了嵌入和重排模型的启动方法，为后续 Dify 调用嵌入和重排模型作为铺垫。
一、Xinference 简介
二、Xinference Docker 部署
三、Xinference 本地运行大模型
四、Xinference 启动嵌入和重排模型
五、文档链接
一、Xinference 简介
Xorbits Inference (Xinference) 是一个开源的分布式推理框架，专为大规模模型推理任务设计。它支持大语言模型（LLM）、多模态模型、语音识别模型等多种模型的推理。以下是 Xinference 的主要特点 [1]：
- 模型一键部署：极大简化了大语言模型、多模态模型和语音识别模型的部署过程。
- 内置前沿模型：支持一键下载并部署大量前沿开源模型，如
Qwen2、chatglm2、等。 - 异构硬件支持：可以利用 CPU 和 GPU 进行推理，提升集群吞吐量和降低延迟。
- 灵活的 API：提供包括 RPC 和 RESTful API 在内的多种接口，兼容 OpenAI 协议，方便与现有系统集成。
- 分布式架构：支持跨设备和跨服务器的分布式部署，允许高并发推理，并简化扩容和缩容操作。
- 第三方集成：与 LangChain 等流行库无缝对接，快速构建基于 AI 的应用程序。
二、Xinference Docker 部署
docker镜像文件非常大，拉取文件需要耗费很长时间。
docker pull xprobe/xinference
查看xinference docker镜像文件，目前大小为17.7GB。
root@ip-172-31-83-158:~# docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
xprobe/xinference latest 96b2be814b0f 2 days ago 17.6GB
创建一个目录，用于存放xinference缓存文件和日志文件。
mkdir -p /xinference/data
启动容器。默认情况下，镜像中不包含任何模型文件，使用过程中会在容器内下载模型。如果需要使用已经下载好的模型，需要将宿主机的目录挂载到容器内。这种情况下，需要在运行容器时指定本地卷，并且为 Xinference 配置环境变量。
- XINFERENCE_MODEL_SRC：配置模型下载仓库。默认下载源是 “huggingface”，也可以设置为 “modelscope” 作为下载源。
- XINFERENCE_HOME：Xinference 默认使用
<HOME>/.xinference 作为默认目录来存储模型以及日志等必要的文件。其中 <HOME> 是当前用户的主目录。可以通过配置这个环境变量来修改默认目录。
docker run -d \
--name xinference \
-v /xinference/data/.xinference:/root/.xinference \
-v /xinference/data/.cache/huggingface:/root/.cache/huggingface \
-v /xinference/data/.cache/modelscope:/root/.cache/modelscope \
-v /xinference/log:/workspace/xinference/logs \
-e XINFERENCE_HOME=/xinference \
-p 9997:9997 \
--gpus all \
xprobe/xinference:latest \
xinference-local -H 0.0.0.0 --log-level debug
三、Xinference 本地运行大模型
容器启动后，访问公网地址加上9997端口，启动qwen2-instruct模型。
使用Xinference自带的图形化聊天界面。
聊天测试。
测试图片生成模型，启动sd-trubo图片生成模型，模型下载和启动的时间较长，需要多等待一会，运行大概需要12G GPU。
启动图形化聊天界面。
使用提示词cartoon cloud生成图片，设置分辨率为512*512，点击Generate生成图片。图片像素设置的越大，生成的时间越长，占用的GPU越多，设置1024 * 1024像素，大致需要占用6G GPU。
Xinference目前无法同时运行多个大模型，在运行新的模型之前，需要停止之前的模型。
测试多模态模型，启动qwen-vl-chat视觉聊天模型，模型下载和启动也需要较长时间，模型需要20G GPU才能运行，所以至少需要g5.xlarge（24G GPU）才能运行，g4dn.xlarge（16G GPU）无法运行。
上传图片聊天测试。
四、Xinference 启动嵌入和重排模型
Xinference只能同时启动一个语音模型、图片模型、语音模型，但是可以同时启动多个嵌入模型、重排模型。
这里使用的嵌入（embedding）模型是bge-m3，重排（reranker）模型是bge-reranker-v2-m3。
启动bge-m3嵌入模型，ollama后续可以调用这个模型。
模型正常启动，后续Dify可以调用此嵌入模型。
启动bge-reranker-v2-m3重排模型，ollama 后续可以调用这个模型。
模型正常启动，后续Dify可以调用此重排模型。
粤ICP备14082021号
免费POC，
零成本试错
