DeepSeek-R1 蒸餾版（Qwen 32B 架構），推理能力接近完整 R1，MIT 授權，Q4 約需 20 GB VRAM，RTX 3090/4090 可運行。
| 量化 | 1K | 4K | 8K | 16K | 32K | 64K | 128K |
|---|---|---|---|---|---|---|---|
| FP16 / BF16 | 3.5 GB | 3.7 GB | 3.8 GB | 4.1 GB | 4.6 GB | 5.4 GB | 6.8 GB |
| Q2_K | 1.0 GB | 1.2 GB | 1.3 GB | 1.6 GB | 2.1 GB | 2.9 GB | 4.3 GB |
| Q3_K_M | 1.2 GB | 1.4 GB | 1.5 GB | 1.8 GB | 2.2 GB | 3.0 GB | 4.4 GB |
| Q4_K_M★ | 1.4 GB | 1.5 GB | 1.7 GB | 2.0 GB | 2.4 GB | 3.2 GB | 4.6 GB |
| Q5_K_M | 1.6 GB | 1.7 GB | 1.9 GB | 2.1 GB | 2.6 GB | 3.4 GB | 4.8 GB |
| Q6_K | 1.8 GB | 1.9 GB | 2.1 GB | 2.3 GB | 2.8 GB | 3.6 GB | 5.0 GB |
| Q8_0 | 2.1 GB | 2.3 GB | 2.4 GB | 2.7 GB | 3.2 GB | 4.0 GB | 5.4 GB |
安裝 Ollama 後直接執行，自動下載並運行模型。
ollama run deepseek-r1:1.5b
適合進階用戶，支援 CPU 和 GPU 混合推理，可精確控制量化等級。
# Download GGUF model from Hugging Face, then run: ./llama-cli -m model.gguf -p "Hello" -n 128
適合生產環境，支援批次推理和 OpenAI 相容 API。
pip install vllm vllm serve DeepSeek R1 Distill (Qwen) --dtype auto
下載 LM Studio，在搜尋欄輸入模型名稱，點擊下載即可。支援 Windows/Mac/Linux。
ollama run deepseek-r1:1.5b分享你的使用體驗，幫助其他人了解這個模型