1. 核心硬件配置：精准匹配显存与PCIe 带宽
| 组件 | 型号 | 备注 |
|---|---|---|
| 主板 | 微星 MPG Z690 CARBON WIFI | 关键：支持两条 PCIe 5.0 x8 通道，完美匹配两张卡 |
| CPU | Intel i5-12600KF | 便宜够用 |
| 内存 | DDR5 32GB | 建议扩容至64GB，实测32GB对35B模型加载刚够用 |
| 显卡 | NVIDIA RTX 5060 Ti 16GB ×2 |
为什么选双 PCIe 5.0 x8 主板？
PCIe 5.0 x8 提供双向 32 GB/s 带宽，32G显存能加载的模型，在推理时不会有带宽瓶颈。
2. 模型选择与量化策略
- 模型：
nvidia/Qwen3.6-35B-A3B-NVFP4或者nvidia/Qwen3.6-27B-NVFP4- NVFP4 量化，大幅降低显存占用，几乎无损，同时发挥BlackWell FP4硬件加速。
- 上下文长度：100k+
- 足以覆盖日常使用大部分场景。
3. Docker 部署命令
Qwen3.6-35B-A3B-NVFP4
docker run -d --name vllm --restart unless-stopped --runtime nvidia --gpus all \
-e HF_ENDPOINT=https://hf-mirror.com \
-v /opt/vllm-cache:/root/.cache \
-p 11808:11808 \
--ipc=host \
vllm/vllm-openai:v0.23.0 \
nvidia/Qwen3.6-35B-A3B-NVFP4 \
--served-model-name qwen3.6-local \
--pipeline-parallel-size 1 \
--tensor-parallel-size 2 \
--gpu-memory-utilization 0.89 \
--quantization modelopt \
--kv-cache-dtype fp8_e4m3 \
--reasoning-parser qwen3 \
--tool-call-parser qwen3_coder \
--enable-auto-tool-choice \
--enable-prefix-caching \
--enable-chunked-prefill \
--default-chat-template-kwargs '{"enable_thinking": false,"preserve_thinking": true}' \
--max-model-len 131072 \
--max-num-seqs 2 \
--max-num-batched-tokens 4096 \
--port 11808
Qwen3.6-27B-NVFP4
docker run -d --name vllm --restart unless-stopped --runtime nvidia --gpus all \
-e HF_ENDPOINT=https://hf-mirror.com \
-v /opt/vllm-cache:/root/.cache \
-p 11808:11808 \
--ipc=host \
vllm/vllm-openai:v0.25.1 \
nvidia/Qwen3.6-27B-NVFP4 \
--served-model-name qwen3.6-local \
--pipeline-parallel-size 1 \
--tensor-parallel-size 2 \
--gpu-memory-utilization 0.92 \
--quantization modelopt \
--kv-cache-dtype fp8_e4m3 \
--speculative-config '{"method":"mtp","num_speculative_tokens":2}' \
--reasoning-parser qwen3 \
--tool-call-parser qwen3_xml \
--enable-auto-tool-choice \
--enable-prefix-caching \
--enable-chunked-prefill \
--default-chat-template-kwargs '{"enable_thinking": false,"preserve_thinking": true}' \
--max-model-len 102400 \
--max-num-seqs 2 \
--max-num-batched-tokens 4096 \
--port 11808
4. 性能表现
Qwen3.6-35B-A3B-NVFP4
模型和KV Cache加载后，稳定运行占用约 28GB。
| test | t/s | peak t/s | ttfr (ms) | est_ppt (ms) | e2e_ttft (ms) |
|---|---|---|---|---|---|
| pp2048 | 15973.41 ± 198.00 | 238.84 ± 4.21 | 114.97 ± 4.21 | 238.84 ± 4.21 | |
| tg32 | 107.80 ± 1.57 | 111.30 ± 1.62 | |||
| pp2048 @ d4096 | 9762.62 ± 26.69 | 678.54 ± 4.39 | 554.67 ± 4.39 | 678.54 ± 4.39 | |
| tg32 @ d4096 | 106.13 ± 1.13 | 109.57 ± 1.17 | |||
| pp2048 @ d8192 | 8723.16 ± 6.59 | 1170.62 ± 3.55 | 1046.75 ± 3.55 | 1170.62 ± 3.55 | |
| tg32 @ d8192 | 106.52 ± 3.33 | 109.98 ± 3.44 | |||
| pp2048 @ d16384 | 7915.58 ± 6.69 | 2224.96 ± 8.50 | 2101.09 ± 8.50 | 2226.21 ± 9.47 | |
| tg32 @ d16384 | 112.28 ± 0.29 | 115.92 ± 0.30 | |||
| pp2048 @ d32768 | 6860.43 ± 8.89 | 4736.31 ± 15.21 | 4612.44 ± 15.21 | 4737.87 ± 15.08 | |
| tg32 @ d32768 | 111.89 ± 1.43 | 115.51 ± 1.47 |
** 生成速度稳定在 100~112 tok/s**。
Qwen3.6-27B-NVFP4
模型和KV Cache加载后，稳定运行占用约 30GB。
| test | t/s | peak t/s | ttfr (ms) | est_ppt (ms) | e2e_ttft (ms) |
|---|---|---|---|---|---|
| pp2048 | 1304.43 ± 34.87 | 1606.39 ± 39.54 | 1435.28 ± 39.54 | 1606.39 ± 39.54 | |
| tg32 | 39.09 ± 2.72 | 40.36 ± 2.81 | |||
| pp2048 @ d4096 | 1478.87 ± 10.76 | 3937.43 ± 32.01 | 3766.33 ± 32.01 | 3937.43 ± 32.01 | |
| tg32 @ d4096 | 35.13 ± 3.57 | 36.18 ± 3.80 | |||
| pp2048 @ d8192 | 1496.41 ± 5.56 | 6357.96 ± 74.31 | 6186.85 ± 74.31 | 6357.96 ± 74.31 | |
| tg32 @ d8192 | 33.52 ± 2.39 | 34.57 ± 2.52 | |||
| pp2048 @ d16384 | 1458.31 ± 27.17 | 11580.80 ± 328.04 | 11409.70 ± 328.04 | 11581.82 ± 328.01 | |
| tg32 @ d16384 | 34.92 ± 4.57 | 35.82 ± 5.03 | |||
| pp2048 @ d32768 | 1401.01 ± 0.43 | 22677.08 ± 109.86 | 22505.97 ± 109.86 | 22678.61 ± 109.90 | |
| tg32 @ d32768 | 35.60 ± 2.70 | 36.76 ± 2.79 |
** 生成速度稳定在约 40 tok/s**，长上下文首字延迟增大明显。
5. 总结
- 性价比高：消费低价平台，适中显存与算力。
- 安静低耗：750W电源可推动，适合家庭/小型办公。