🧠 語言模型Apache 2.0🔒 需申請存取

GLM-4.7-Flash

GLM-4.7-Flash,2026 年 1 月發布,30B 輕量版本,Apache 2.0 授權,GPQA 75.2%,128K 上下文,24 GB VRAM 可運行。

📅 發布:2026-01資料更新:2026年3月25日

VRAM 計算器

我的 GPU VRAM:
量化等級
上下文長度
Q4_K_M · 8K context
模型權重 + KV Cache + 0.5 GB overhead
22.2 GB
完整 VRAM 對照表(所有量化 × 上下文)
量化1K4K8K16K32K64K128K
FP16 / BF1661.2 GB63.2 GB65.3 GB68.9 GB75.2 GB86.2 GB105.4 GB
Q2_K10.9 GB13.0 GB15.0 GB18.6 GB24.9 GB35.9 GB55.2 GB
Q3_K_M14.3 GB16.4 GB18.4 GB22.0 GB28.3 GB39.3 GB58.5 GB
Q4_K_M18.1 GB20.1 GB22.2 GB25.7 GB32.0 GB43.0 GB62.3 GB
Q5_K_M21.8 GB23.9 GB25.9 GB29.5 GB35.8 GB46.8 GB66.0 GB
Q6_K25.6 GB27.6 GB29.7 GB33.2 GB39.5 GB50.5 GB69.8 GB
Q8_033.1 GB35.1 GB37.2 GB40.7 GB47.0 GB58.0 GB77.3 GB

部署指南

方法一:Ollama(最簡單)

安裝 Ollama 後直接執行,自動下載並運行模型。

ollama run glm4.7-flash:latest

方法二:llama.cpp

適合進階用戶,支援 CPU 和 GPU 混合推理,可精確控制量化等級。

# Download GGUF model from Hugging Face, then run:
./llama-cli -m model.gguf -p "Hello" -n 128

方法三:vLLM(高效能伺服器)

適合生產環境,支援批次推理和 OpenAI 相容 API。

pip install vllm
vllm serve GLM --dtype auto
ollama run glm4.7-flash:latest

規格

參數量30B
最大上下文128K tokens
HF 下載量320K/月

模型強項

輕量高效長上下文中文優化高推理能力低VRAM需求

推薦用途

  • 適合在 24GB VRAM 環境下部署,進行高效能長文本處理與分析。
  • 適用於需要處理大量中文資訊、進行複雜推理的企業級應用。
  • 可作為開發者在資源有限情況下,快速部署並測試大型語言模型的理想選擇。

標籤

128K高效中文推薦

部署工具

OllamavLLMllama.cpp

使用心得

分享你的使用體驗,幫助其他人了解這個模型

0/1000
還沒有評論,成為第一個分享心得的人!