DeepSeek-R1-Zero 是純強化學習訓練版本(無 SFT),展示了 RL 在推理能力上的突破,學術研究價值極高。
| 量化 | 1K | 4K | 8K | 16K | 32K | 64K | 128K |
|---|---|---|---|---|---|---|---|
| FP16 / BF16 | 1342.9 GB | 1344.2 GB | 1345.5 GB | 1347.8 GB | 1351.8 GB | 1358.8 GB | 1371.0 GB |
| Q2_K | 219.0 GB | 220.3 GB | 221.6 GB | 223.9 GB | 227.9 GB | 234.9 GB | 247.1 GB |
| Q3_K_M | 294.5 GB | 295.8 GB | 297.1 GB | 299.4 GB | 303.4 GB | 310.4 GB | 322.6 GB |
| Q4_K_M★ | 378.4 GB | 379.7 GB | 381.0 GB | 383.3 GB | 387.3 GB | 394.2 GB | 406.5 GB |
| Q5_K_M | 462.2 GB | 463.5 GB | 464.9 GB | 467.1 GB | 471.1 GB | 478.1 GB | 490.3 GB |
| Q6_K | 546.1 GB | 547.4 GB | 548.7 GB | 551.0 GB | 555.0 GB | 562.0 GB | 574.2 GB |
| Q8_0 | 713.9 GB | 715.2 GB | 716.5 GB | 718.8 GB | 722.8 GB | 729.7 GB | 742.0 GB |
適合進階用戶,支援 CPU 和 GPU 混合推理,可精確控制量化等級。
# Download GGUF model from Hugging Face, then run: ./llama-cli -m model.gguf -p "Hello" -n 128
適合生產環境,支援批次推理和 OpenAI 相容 API。
pip install vllm vllm serve DeepSeek --dtype auto
分享你的使用體驗,幫助其他人了解這個模型