智譜 AI GLM-4 9B,中文能力頂尖,支援 128K 超長上下文,Apache 2.0 授權,適合中文應用場景。
| 量化 | 1K | 4K | 8K | 16K | 32K | 64K | 128K |
|---|---|---|---|---|---|---|---|
| FP16 / BF16 | 18.8 GB | 19.6 GB | 20.5 GB | 22.0 GB | 24.6 GB | 29.2 GB | 37.2 GB |
| Q2_K | 3.7 GB | 4.6 GB | 5.4 GB | 6.9 GB | 9.5 GB | 14.1 GB | 22.1 GB |
| Q3_K_M | 4.7 GB | 5.6 GB | 6.4 GB | 7.9 GB | 10.5 GB | 15.1 GB | 23.1 GB |
| Q4_K_M★ | 5.8 GB | 6.7 GB | 7.6 GB | 9.1 GB | 11.7 GB | 16.3 GB | 24.3 GB |
| Q5_K_M | 7.0 GB | 7.8 GB | 8.7 GB | 10.2 GB | 12.8 GB | 17.4 GB | 25.4 GB |
| Q6_K | 8.1 GB | 9.0 GB | 9.8 GB | 11.3 GB | 13.9 GB | 18.5 GB | 26.5 GB |
| Q8_0 | 10.3 GB | 11.2 GB | 12.1 GB | 13.6 GB | 16.2 GB | 20.8 GB | 28.8 GB |
安裝 Ollama 後直接執行,自動下載並運行模型。
ollama run glm4:9b
適合進階用戶,支援 CPU 和 GPU 混合推理,可精確控制量化等級。
# Download GGUF model from Hugging Face, then run: ./llama-cli -m model.gguf -p "Hello" -n 128
適合生產環境,支援批次推理和 OpenAI 相容 API。
pip install vllm vllm serve GLM --dtype auto
ollama run glm4:9b分享你的使用體驗,幫助其他人了解這個模型