🧠 語言模型Llama 3.1

Hermes 3 70B

NousResearch Hermes 3 70B，基於 LLaMA 3.1 70B 微調，工具使用和 Agent 能力強，128K 上下文，需 40 GB+ VRAM。

📅 發布：2024-07🔄 最新：2024-08↻資料更新：2026年5月3日

VRAM 計算器

我的 GPU VRAM：
量化等級
上下文長度
Q4_K_M · 8K context
模型權重 + KV Cache + 0.5 GB overhead
40 GB
完整 VRAM 對照表（所有量化 × 上下文）
量化4K8K16K32K64K128K
Q4_K_M★39 GB40 GB41 GB43 GB48 GB58 GB
Q8_074 GB75 GB76 GB78 GB83 GB93 GB

部署指南

方法一：Ollama（最簡單）

安裝 Ollama 後直接執行，自動下載並運行模型。

ollama run hermes3:70b

方法二：llama.cpp

適合進階用戶，支援 CPU 和 GPU 混合推理，可精確控制量化等級。

# Download GGUF model from Hugging Face, then run:
./llama-cli -m model.gguf -p "Hello" -n 128

方法三：vLLM（高效能伺服器）

適合生產環境，支援批次推理和 OpenAI 相容 API。

pip install vllm
vllm serve Hermes --dtype auto
ollama run hermes3:70b

規格

參數量70B
最大上下文128K tokens
HF 下載量3K/月

模型強項

強大代理能力長上下文理解精準工具使用多輪對話角色扮演

推薦用途

  • ▸開發複雜 AI 代理應用，執行多步驟任務與外部工具互動。
  • ▸處理長篇文件或程式碼，進行摘要、問答或內容生成。
  • ▸建構具備高度指令遵循與角色扮演能力的智慧對話機器人。

標籤

128KTool UseAgent推理

部署工具

OllamavLLMllama.cppSGLang

關於 Hermes 3 70B — 開源 AI 模型

Hermes 3 70B 是一個開源語言模型，擁有 70B 參數，採用 Llama 3.1 授權。可使用 Ollama、vLLM、llama.cpp、SGLang 進行部署。適用場景包括：開發複雜 AI 代理應用，執行多步驟任務與外部工具互動。、處理長篇文件或程式碼，進行摘要、問答或內容生成。、建構具備高度指令遵循與角色扮演能力的智慧對話機器人。。核心優勢：強大代理能力、長上下文理解、精準工具使用、多輪對話、角色扮演。 可在本地硬體上自行部署，完全保護隱私，無需 API 金鑰。

使用心得

分享你的使用體驗，幫助其他人了解這個模型

0/1000
還沒有評論，成為第一個分享心得的人！