Microsoft Phi-4 Reasoning，14B 推理模型，MIT 授權，在數學和科學推理上表現出色，Q4 約需 9 GB VRAM。
| 量化 | 1K | 4K | 8K | 16K | 32K | 64K | 128K |
|---|---|---|---|---|---|---|---|
| FP16 / BF16 | 8.4 GB | 9.5 GB | 10.5 GB | 12.3 GB | 15.4 GB | 20.9 GB | 30.6 GB |
| Q2_K | 2.1 GB | 3.1 GB | 4.1 GB | 5.9 GB | 9.1 GB | 14.6 GB | 24.2 GB |
| Q3_K_M | 2.5 GB | 3.5 GB | 4.6 GB | 6.3 GB | 9.5 GB | 15.0 GB | 24.6 GB |
| Q4_K_M★ | 3.0 GB | 4.0 GB | 5.0 GB | 6.8 GB | 10.0 GB | 15.5 GB | 25.1 GB |
| Q5_K_M | 3.5 GB | 4.5 GB | 5.5 GB | 7.3 GB | 10.4 GB | 15.9 GB | 25.6 GB |
| Q6_K | 3.9 GB | 5.0 GB | 6.0 GB | 7.8 GB | 10.9 GB | 16.4 GB | 26.0 GB |
| Q8_0 | 4.9 GB | 5.9 GB | 6.9 GB | 8.7 GB | 11.9 GB | 17.4 GB | 27.0 GB |
安裝 Ollama 後直接執行，自動下載並運行模型。
ollama run phi4-mini-reasoning:3.8b
適合進階用戶，支援 CPU 和 GPU 混合推理，可精確控制量化等級。
# Download GGUF model from Hugging Face, then run: ./llama-cli -m model.gguf -p "Hello" -n 128
適合生產環境，支援批次推理和 OpenAI 相容 API。
pip install vllm vllm serve Phi 4 Reasoning --dtype auto
下載 LM Studio，在搜尋欄輸入模型名稱，點擊下載即可。支援 Windows/Mac/Linux。
ollama run phi4-mini-reasoning:3.8b分享你的使用體驗，幫助其他人了解這個模型