Google Gemma 3 旗艦版本,27B 參數,支援 128K 上下文和視覺輸入,在 llm-stats.com 排行榜表現優異。
| 量化 | 1K | 4K | 8K | 16K | 32K |
|---|---|---|---|---|---|
| FP16 / BF16 | 2.8 GB | 3.5 GB | 4.3 GB | 5.6 GB | 8.0 GB |
| Q2_K | 1.1 GB | 1.8 GB | 2.6 GB | 4.0 GB | 6.3 GB |
| Q3_K_M | 1.2 GB | 2.0 GB | 2.7 GB | 4.1 GB | 6.4 GB |
| Q4_K_M★ | 1.3 GB | 2.1 GB | 2.9 GB | 4.2 GB | 6.6 GB |
| Q5_K_M | 1.4 GB | 2.2 GB | 3.0 GB | 4.3 GB | 6.7 GB |
| Q6_K | 1.6 GB | 2.3 GB | 3.1 GB | 4.5 GB | 6.8 GB |
| Q8_0 | 1.8 GB | 2.6 GB | 3.4 GB | 4.7 GB | 7.1 GB |
安裝 Ollama 後直接執行,自動下載並運行模型。
ollama run gemma3:1b
適合進階用戶,支援 CPU 和 GPU 混合推理,可精確控制量化等級。
# Download GGUF model from Hugging Face, then run: ./llama-cli -m model.gguf -p "Hello" -n 128
適合生產環境,支援批次推理和 OpenAI 相容 API。
pip install vllm vllm serve Gemma 3 --dtype auto
下載 LM Studio,在搜尋欄輸入模型名稱,點擊下載即可。支援 Windows/Mac/Linux。
ollama run gemma3:1b分享你的使用體驗,幫助其他人了解這個模型