Mistral Devstral Small 1.1,24B 程式碼 Agent 模型,Apache 2.0 授權,SWE-bench 表現優異,適合自動化程式碼任務。
| 量化 | 1K | 4K | 8K | 16K | 32K | 64K | 128K |
|---|---|---|---|---|---|---|---|
| FP16 / BF16 | 49.1 GB | 50.8 GB | 52.5 GB | 55.5 GB | 60.7 GB | 69.9 GB | 85.9 GB |
| Q2_K | 8.9 GB | 10.6 GB | 12.3 GB | 15.3 GB | 20.5 GB | 29.7 GB | 45.7 GB |
| Q3_K_M | 11.6 GB | 13.3 GB | 15.0 GB | 18.0 GB | 23.2 GB | 32.4 GB | 48.4 GB |
| Q4_K_M★ | 14.6 GB | 16.3 GB | 18.0 GB | 21.0 GB | 26.2 GB | 35.4 GB | 51.4 GB |
| Q5_K_M | 17.6 GB | 19.3 GB | 21.0 GB | 24.0 GB | 29.2 GB | 38.4 GB | 54.4 GB |
| Q6_K | 20.6 GB | 22.3 GB | 24.0 GB | 27.0 GB | 32.2 GB | 41.4 GB | 57.4 GB |
| Q8_0 | 26.6 GB | 28.3 GB | 30.0 GB | 33.0 GB | 38.2 GB | 47.4 GB | 63.4 GB |
安裝 Ollama 後直接執行,自動下載並運行模型。
ollama run devstral:24b
適合進階用戶,支援 CPU 和 GPU 混合推理,可精確控制量化等級。
# Download GGUF model from Hugging Face, then run: ./llama-cli -m model.gguf -p "Hello" -n 128
適合生產環境,支援批次推理和 OpenAI 相容 API。
pip install vllm vllm serve Mistral --dtype auto
ollama run devstral:24b分享你的使用體驗,幫助其他人了解這個模型