👁️ 多模態4 版本Apache 2.0

Gemma 4

Google DeepMind 推出的第四代 Gemma 開源多模態模型系列，涵蓋 Dense 與 MoE 架構。E2B/E4B 支援文字、圖像及音訊輸入，適合行動裝置與筆電部署；26B A4B 採用 MoE 架構，以 4B 的推理速度提供 26B 的能力；31B Dense 版本在推理、編程及多模態理解上達到頂尖水準，支援高達 256K 上下文。

📅 發布：2026-04↻資料更新：2026年4月5日

選擇版本（參數量）

VRAM 計算器

我的 GPU VRAM：
量化等級
上下文長度
Q4_K_M · 8K context
模型權重 + KV Cache + 0.5 GB overhead
3.2 GB
完整 VRAM 對照表（所有量化 × 上下文）
量化4K8K16K32K64K128K
Q4_K_M★3.0 GB3.2 GB3.6 GB4.4 GB6.0 GB9.2 GB
Q8_05.6 GB5.8 GB6.2 GB7.0 GB8.6 GB12 GB

部署指南

方法二：llama.cpp

適合進階用戶，支援 CPU 和 GPU 混合推理，可精確控制量化等級。

# Download GGUF model from Hugging Face, then run:
./llama-cli -m model.gguf -p "Hello" -n 128

方法三：vLLM（高效能伺服器）

適合生產環境，支援批次推理和 OpenAI 相容 API。

pip install vllm
vllm serve Gemma 4 --dtype auto

LM Studio（圖形介面）

下載 LM Studio，在搜尋欄輸入模型名稱，點擊下載即可。支援 Windows/Mac/Linux。

規格

參數量2.3B
最大上下文128K tokens
HF 下載量90K/月

模型強項

多模態理解超長上下文推理能力編程能力輕量部署

推薦用途

  • ▸在行動裝置或筆電上執行多模態 AI（E2B/E4B），支援語音、圖像與文字輸入。
  • ▸以 MoE 架構（26B A4B）在消費級 GPU 上獲得接近旗艦的推理與編程能力。
  • ▸使用 31B Dense 版本處理超長文件（256K）、複雜推理及多模態任務。

標籤

multimodalvisionaudioreasoningcodinglong-contextfunction-callingmoe256K旗艦

部署工具

Ollamallama.cppLM StudiovLLMtransformers

關於 Gemma 4 — 開源 AI 模型

Gemma 4 是一個開源多模態，擁有 2.3B 參數，採用 Apache 2.0 授權。可使用 Ollama、llama.cpp、LM Studio、vLLM、transformers 進行部署。適用場景包括：在行動裝置或筆電上執行多模態 AI（E2B/E4B），支援語音、圖像與文字輸入。、以 MoE 架構（26B A4B）在消費級 GPU 上獲得接近旗艦的推理與編程能力。、使用 31B Dense 版本處理超長文件（256K）、複雜推理及多模態任務。。核心優勢：多模態理解、超長上下文、推理能力、編程能力、輕量部署。 可在本地硬體上自行部署，完全保護隱私，無需 API 金鑰。

使用心得

分享你的使用體驗，幫助其他人了解這個模型

0/1000
還沒有評論，成為第一個分享心得的人！