🧠 語言模型4 版本Gemma

Gemma 3

Google Gemma 3 旗艦版本,27B 參數,支援 128K 上下文和視覺輸入,在 llm-stats.com 排行榜表現優異。

📅 發布:2025-03資料更新:2026年3月25日

選擇版本(參數量)

VRAM 計算器

我的 GPU VRAM:
量化等級
上下文長度
Q4_K_M · 8K context
模型權重 + KV Cache + 0.5 GB overhead
2.9 GB
完整 VRAM 對照表(所有量化 × 上下文)
量化1K4K8K16K32K
FP16 / BF162.8 GB3.5 GB4.3 GB5.6 GB8.0 GB
Q2_K1.1 GB1.8 GB2.6 GB4.0 GB6.3 GB
Q3_K_M1.2 GB2.0 GB2.7 GB4.1 GB6.4 GB
Q4_K_M1.3 GB2.1 GB2.9 GB4.2 GB6.6 GB
Q5_K_M1.4 GB2.2 GB3.0 GB4.3 GB6.7 GB
Q6_K1.6 GB2.3 GB3.1 GB4.5 GB6.8 GB
Q8_01.8 GB2.6 GB3.4 GB4.7 GB7.1 GB

部署指南

方法一:Ollama(最簡單)

安裝 Ollama 後直接執行,自動下載並運行模型。

ollama run gemma3:1b

方法二:llama.cpp

適合進階用戶,支援 CPU 和 GPU 混合推理,可精確控制量化等級。

# Download GGUF model from Hugging Face, then run:
./llama-cli -m model.gguf -p "Hello" -n 128

方法三:vLLM(高效能伺服器)

適合生產環境,支援批次推理和 OpenAI 相容 API。

pip install vllm
vllm serve Gemma 3 --dtype auto

LM Studio(圖形介面)

下載 LM Studio,在搜尋欄輸入模型名稱,點擊下載即可。支援 Windows/Mac/Linux。

ollama run gemma3:1b

規格

參數量1B
最大上下文32K tokens
HF 下載量2.1M/月

模型強項

旗艦性能超長上下文視覺理解多語言支援輕量高效

推薦用途

  • 處理和分析超長篇幅文件,如法律合同或學術論文,進行摘要與問答。
  • 在資源受限的邊緣裝置上,實現高效能的多模態(文字與圖像)AI應用。
  • 開發跨語言的智慧助理或內容生成工具,支援全球用戶需求。

標籤

32K超輕量邊緣裝置HF 熱門128K多語言視覺旗艦

部署工具

Ollamallama.cppLM StudiovLLMSGLang

使用心得

分享你的使用體驗,幫助其他人了解這個模型

0/1000
還沒有評論,成為第一個分享心得的人!