🧠 語言模型Llama 3.1

Hermes 3 70B

NousResearch Hermes 3 70B，基於 LLaMA 3.1 70B 微調，工具使用和 Agent 能力強，128K 上下文，需 40 GB+ VRAM。

📅 發布：2024-08↻資料更新：2026年3月25日

VRAM 計算器

我的 GPU VRAM：
量化等級
上下文長度
Q4_K_M · 8K context
模型權重 + KV Cache + 0.5 GB overhead
47.8 GB
完整 VRAM 對照表（所有量化 × 上下文）
量化1K4K8K16K32K64K128K
FP16 / BF16141.6 GB145.1 GB148.5 GB154.5 GB164.9 GB183.3 GB215.3 GB
Q2_K24.4 GB27.8 GB31.2 GB37.2 GB47.7 GB66.0 GB98.1 GB
Q3_K_M32.3 GB35.7 GB39.1 GB45.1 GB55.6 GB73.9 GB106.0 GB
Q4_K_M★41.0 GB44.4 GB47.8 GB53.8 GB64.3 GB82.6 GB114.7 GB
Q5_K_M49.8 GB53.2 GB56.6 GB62.6 GB73.1 GB91.4 GB123.5 GB
Q6_K58.5 GB61.9 GB65.3 GB71.3 GB81.8 GB100.1 GB132.2 GB
Q8_076.0 GB79.4 GB82.8 GB88.8 GB99.3 GB117.6 GB149.7 GB

部署指南

方法一：Ollama（最簡單）

安裝 Ollama 後直接執行，自動下載並運行模型。

ollama run hermes3:70b

方法二：llama.cpp

適合進階用戶，支援 CPU 和 GPU 混合推理，可精確控制量化等級。

# Download GGUF model from Hugging Face, then run:
./llama-cli -m model.gguf -p "Hello" -n 128

方法三：vLLM（高效能伺服器）

適合生產環境，支援批次推理和 OpenAI 相容 API。

pip install vllm
vllm serve Hermes --dtype auto
ollama run hermes3:70b

規格

參數量70B
最大上下文128K tokens
HF 下載量999

模型強項

強大代理能力長上下文理解精準工具使用多輪對話角色扮演

推薦用途

  • ▸開發複雜 AI 代理應用，執行多步驟任務與外部工具互動。
  • ▸處理長篇文件或程式碼，進行摘要、問答或內容生成。
  • ▸建構具備高度指令遵循與角色扮演能力的智慧對話機器人。

標籤

128KTool UseAgent推理

部署工具

OllamavLLMllama.cppSGLang

使用心得

分享你的使用體驗，幫助其他人了解這個模型

0/1000
還沒有評論，成為第一個分享心得的人！