MiMo-V2-Flash,小米 2025 年 12 月發布,309B MoE 模型,Apache 2.0 授權,256K 上下文,GPQA 83.7%,SWE-bench 58.3%。
| 量化 | 1K | 4K | 8K | 16K | 32K | 64K | 128K |
|---|---|---|---|---|---|---|---|
| FP16 / BF16 | 619.6 GB | 623.1 GB | 626.5 GB | 632.5 GB | 642.9 GB | 661.3 GB | 693.3 GB |
| Q2_K | 102.1 GB | 105.5 GB | 108.9 GB | 114.9 GB | 125.4 GB | 143.7 GB | 175.8 GB |
| Q3_K_M | 136.8 GB | 140.2 GB | 143.7 GB | 149.6 GB | 160.1 GB | 178.4 GB | 210.5 GB |
| Q4_K_M★ | 175.5 GB | 178.9 GB | 182.3 GB | 188.3 GB | 198.7 GB | 217.1 GB | 249.2 GB |
| Q5_K_M | 214.1 GB | 217.5 GB | 220.9 GB | 226.9 GB | 237.4 GB | 255.7 GB | 287.8 GB |
| Q6_K | 252.7 GB | 256.1 GB | 259.5 GB | 265.5 GB | 276.0 GB | 294.3 GB | 326.4 GB |
| Q8_0 | 330.0 GB | 333.4 GB | 336.8 GB | 342.8 GB | 353.2 GB | 371.6 GB | 403.7 GB |
適合進階用戶,支援 CPU 和 GPU 混合推理,可精確控制量化等級。
# Download GGUF model from Hugging Face, then run: ./llama-cli -m model.gguf -p "Hello" -n 128
適合生產環境,支援批次推理和 OpenAI 相容 API。
pip install vllm vllm serve MiMo --dtype auto
分享你的使用體驗,幫助其他人了解這個模型