GLM-4.7,2025 年 12 月發布,355B 參數,GLM-4 授權,131K 上下文,GPQA 81.5%,中文能力頂尖,需要多 GPU 部署。
| 量化 | 1K | 4K | 8K | 16K | 32K | 64K | 128K |
|---|---|---|---|---|---|---|---|
| FP16 / BF16 | 711.6 GB | 715.1 GB | 718.5 GB | 724.5 GB | 734.9 GB | 753.3 GB | 785.3 GB |
| Q2_K | 117.0 GB | 120.4 GB | 123.8 GB | 129.8 GB | 140.3 GB | 158.6 GB | 190.7 GB |
| Q3_K_M | 157.0 GB | 160.4 GB | 163.8 GB | 169.8 GB | 180.2 GB | 198.6 GB | 230.7 GB |
| Q4_K_M★ | 201.3 GB | 204.7 GB | 208.2 GB | 214.1 GB | 224.6 GB | 242.9 GB | 275.0 GB |
| Q5_K_M | 245.7 GB | 249.1 GB | 252.5 GB | 258.5 GB | 269.0 GB | 287.3 GB | 319.4 GB |
| Q6_K | 290.1 GB | 293.5 GB | 296.9 GB | 302.9 GB | 313.4 GB | 331.7 GB | 363.8 GB |
| Q8_0 | 378.8 GB | 382.2 GB | 385.7 GB | 391.6 GB | 402.1 GB | 420.4 GB | 452.5 GB |
適合進階用戶,支援 CPU 和 GPU 混合推理,可精確控制量化等級。
# Download GGUF model from Hugging Face, then run: ./llama-cli -m model.gguf -p "Hello" -n 128
適合生產環境,支援批次推理和 OpenAI 相容 API。
pip install vllm vllm serve GLM --dtype auto
分享你的使用體驗,幫助其他人了解這個模型