推荐语
深入浅出地探索vLLM部署与QwQ-32B模型应用。
核心内容：
1. 部署vLLM的系统环境要求及准备工作
2. QwQ-32B模型的下载、安装与运行过程
3. 模型运行测试与API接口调用示例
杨芳贤
53AI创始人/腾讯云(TVP)最具价值专家
按官网要求，在部署vLLM之前首先要保证Python的版本在3.12及以上，gcc版本在12以上，并且一般需要安装Anaconda，用于做Python环境隔离，上述过程不再赘述。从魔塔社区下载模型https://modelscope.cn/models/Qwen/QwQ-32B/files耐心等待吧，我这边下载了两三个小时才下载完 sudo modelscope download --model Qwen/QwQ-32B --local_dir /home/data-local/qwq-32b完了，报错了
执行 UDA_VISIBLE_DEVICES=0 vllm serve --model /home/data-local/qwq-32b --served-model-name QWQ-32B --port 8000 报错 改为 CUDA_VISIBLE_DEVICES=0 vllm serve /home/data-local/qwq-32b --served-model-name QWQ-32B --port 8000 这次可以了
CUDA_VISIBLE_DEVICES=0 vllm serve /home/data-local/DeepSeek-R1-Distill-Qwen-7B --served-model-name Qwen-7B --port 8000 curl http://localhost:8000/v1/completions -H "Content-Type: application/json" -d '{ "model": "QWQ-32B", "prompt": "你好", "max_tokens": 100}'
from openai import OpenAI# 初始化客户端（添加api_key参数）client = OpenAI( base_url="http://172.19.66.132:8000/v1", api_key="dummy" # 虚拟密钥:ml-citation{ref="1" data="citationList"})# 调用模型生成文本response = client.completions.create( model="Qwen-1.5B", prompt="如何部署大语言模型？", max_tokens=200)# 正确输出字段为response.choices.textprint(response.choices[0].text)
粤ICP备14082021号
免费POC，
零成本试错
