与传统的HuggingFace Transformers相比,vLLM的吞吐量高达24倍,且无需改变模型架构,它采用创新的PagedAttention算法,优化了注意力键和值的管理,从而提升了推理速度,并且其能够有效地利用多核CPU和GPU资源,显著提升LLM的推理速度。
相比于ollama,vllm输出的速度更快,支持的并发更高,目前也没有遇到安全问题,稳定性非常好,更适合作为服务器的接口服务来部署。
但相应的,vllm会把服务器的GPU显存都占满,使得机器无法再部署其他服务,同时ollama部署更加的简单,也是因为这个原因ollama在最近部署deepseek的热潮中被提到的更多一些,因此个人使用可能ollama更合适。
vLLM本地环境准备
vllm需要使用最新的0.7.3版本,支持思考过程增加<think>标签。
建议用conda新建一个环境来安装
pip install vllm==0.7.3
python环境我这里使用的是python3.8,显卡为a40显卡40g显存版本。
模型权重下载
因为网络问题,建议在阿里魔塔社区下载QWQ模型。
选择好对应的版本后,使用pip安装modelscope,便可以下载选中的版本模型了:
粤ICP备14082021号