--served-model-name "DeepSeek-R1:7b"
设置模型名称为 DeepSeek-R1:7b。这是在容器内加载的模型名称。
--trust-remote-code
允许容器信任远程代码执行。这在使用外部模型时很有用，但在安全性较为敏感的情况下需谨慎使用。
--enforce-eager
启用急切执行模式（Eager Execution）。在某些情况下，急切执行模式可以帮助调试和查看模型的每个操作的结果。
--gpu-memory-utilization "0.8"
指定容器使用 GPU 显存的比例。在此配置中，0.8 表示容器将使用 GPU 显存的 80%。
--model "/app/model/"
指定模型文件的位置，即挂载到容器中的 /app/model/ 目录。这个路径将指向你的 DeepSeek 模型。
--host "0.0.0.0"
设置容器的绑定地址为 0.0.0.0，这意味着容器将接受来自所有 IP 地址的请求。
--port "8000"
设置容器服务监听的端口为 8000，也就是你通过 localhost:8000 或宿主机的 IP 地址和端口来访问该容器提供的 API 服务。
--max-model-len "10000"
该参数设置模型能够处理的最大输入文本长度，通常这个值的设置需要根据模型和任务的需求来进行调节。
--api-key "12345678"
设置访问 API 的密钥，这个密钥通常用于验证客户端请求的合法性和安全性。你可以将其替换为实际的 API 密钥。
--tokenizer "/app/model/"
设置 分词器 的路径，在这里，分词器位于 /app/model/ 目录下，这个目录包含了模型的相关资源文件，包括分词器。
在运行 vLLM 时，使用 --tensor-parallel-size 参数指定 GPU 数量。例如，如果你有 2 张 RTX 4090，可以这样运行："--tensor-parallel-size", "2"
这样，VLLM 会自动将计算任务拆分到 2 张显卡上。你可以通过 nvidia-smi 观察显存占用情况。如果你有 4 张 GPU，可以将 --tensor-parallel-size 设为 4，以获得更高的计算吞吐量。在 Transformer 结构中，每次生成新 token 时，模型需要重新计算所有之前的 token（自回归推理）。这会导致长文本推理速度越来越慢。KV 缓存（Key-Value Cache） 是一种优化策略，它将计算过的 Key（键）和 Value（值）存储起来，避免重复计算，从而加速推理。
vLLM 的 Paged KV 缓存
vLLM 采用了一种 Paged KV 缓存 技术，相比传统的 KV 缓存，它能更高效地管理显存，避免显存碎片化，提高推理效率。
特点：
动态分配内存 —— 仅在需要时分配缓存，减少不必要的显存占用
支持流式生成 —— 适用于长文本对话，避免显存溢出
减少重复计算 —— 加快推理速度，特别适用于长文本生成
开启 KV 缓存优化
vLLM 默认开启 KV 缓存，但如果要手动调整 KV 缓存的大小，可以使用 --max-num-batched-tokens 参数。如果你的模型处理长文本较多，建议调大 --max-num-batched-tokens，但要注意 GPU 显存的使用情况。
| | |
|---|
| 核心设置 | --model | |
| 显存管理 | --gpu-memory-utilization | |
| 推理优化 | --max-num-batched-tokens | |
| API 服务器 | --port | |
| 输出控制 | --max-tokens | |
如果你在使用 VLLM 过程中遇到 显存溢出（OOM） 或 推理速度慢 的问题，可以尝试调整：
- 降低
--max-num-batched-tokens - 调整
--gpu-memory-utilization（一般设为 0.85~0.95） - 使用
--dtype float16 减少显存占用 - 在多 GPU 服务器上增加
--tensor-parallel-size
粤ICP备14082021号
免费POC，
零成本试错
