🧠 語言模型MoEmit

Deepseek

Deepseek 由 deepseek-ai 開發的開源 語言 模型。授權：mit。共 1 個尺寸版本。

📅 發布：2025-10↻資料更新：2026年5月12日

VRAM 計算器

我的 GPU VRAM：
量化等級
上下文長度
Q4_K_M · 8K context
模型權重 + KV Cache + 0.5 GB overhead
39 GB
完整 VRAM 對照表（所有量化 × 上下文）
量化4K8K16K32K64K128K
Q4_K_M★38 GB39 GB40 GB42 GB47 GB57 GB
Q8_073 GB73 GB74 GB77 GB82 GB91 GB

部署指南

方法二：llama.cpp

適合進階用戶，支援 CPU 和 GPU 混合推理，可精確控制量化等級。

# Download GGUF model from Hugging Face, then run:
./llama-cli -m model.gguf -p "Hello" -n 128

規格

參數量685B (A68.5B)
最大上下文128K tokens
HF 下載量11.1M/月

模型強項

多模態理解多語言支援超長上下文視覺文字識別開源靈活

推薦用途

  • ▸處理包含圖像與文字的複雜文件，進行資訊提取與內容理解，例如OCR應用。
  • ▸開發多語言對話系統或內容生成工具，支援全球用戶的語言需求。
  • ▸在需要處理大量文字和圖像資訊的場景中，進行高效的資料分析與知識檢索。

標籤

deepseek-aimitllmDeepseek

部署工具

ollamallama.cpp

關於 Deepseek — 開源 AI 模型

Deepseek 是一個開源語言模型，擁有 685B (A68.5B) 參數，採用 mit 授權。可使用 ollama、llama.cpp 進行部署。適用場景包括：處理包含圖像與文字的複雜文件，進行資訊提取與內容理解，例如OCR應用。、開發多語言對話系統或內容生成工具，支援全球用戶的語言需求。、在需要處理大量文字和圖像資訊的場景中，進行高效的資料分析與知識檢索。。核心優勢：多模態理解、多語言支援、超長上下文、視覺文字識別、開源靈活。 可在本地硬體上自行部署，完全保護隱私，無需 API 金鑰。

使用心得

分享你的使用體驗，幫助其他人了解這個模型

0/1000
還沒有評論，成為第一個分享心得的人！