MiniMax M2.1,2025 年 12 月發布,230B MoE 模型,支援 1M token 上下文,GPQA 84.5%,SWE-bench 60.2%,Code Arena 51.0%。
| 量化 | 1K | 4K | 8K | 16K | 32K | 64K | 128K | 262K |
|---|---|---|---|---|---|---|---|---|
| FP16 / BF16 | 461.6 GB | 465.1 GB | 468.5 GB | 474.5 GB | 484.9 GB | 503.3 GB | 535.3 GB | 591.5 GB |
| Q2_K | 76.4 GB | 79.8 GB | 83.2 GB | 89.2 GB | 99.7 GB | 118.0 GB | 150.1 GB | 206.2 GB |
| Q3_K_M | 102.3 GB | 105.7 GB | 109.1 GB | 115.1 GB | 125.6 GB | 143.9 GB | 176.0 GB | 232.1 GB |
| Q4_K_M★ | 131.0 GB | 134.4 GB | 137.8 GB | 143.8 GB | 154.3 GB | 172.6 GB | 204.7 GB | 260.9 GB |
| Q5_K_M | 159.8 GB | 163.2 GB | 166.6 GB | 172.6 GB | 183.1 GB | 201.4 GB | 233.5 GB | 289.6 GB |
| Q6_K | 188.5 GB | 191.9 GB | 195.3 GB | 201.3 GB | 211.8 GB | 230.1 GB | 262.2 GB | 318.4 GB |
| Q8_0 | 246.0 GB | 249.4 GB | 252.8 GB | 258.8 GB | 269.3 GB | 287.6 GB | 319.7 GB | 375.9 GB |
適合進階用戶,支援 CPU 和 GPU 混合推理,可精確控制量化等級。
# Download GGUF model from Hugging Face, then run: ./llama-cli -m model.gguf -p "Hello" -n 128
適合生產環境,支援批次推理和 OpenAI 相容 API。
pip install vllm vllm serve MiniMax --dtype auto
分享你的使用體驗,幫助其他人了解這個模型