💻 程式碼Apache 2.0

Devstral Small 1.1

Mistral Devstral Small 1.1,24B 程式碼 Agent 模型,Apache 2.0 授權,SWE-bench 表現優異,適合自動化程式碼任務。

📅 發布:2025-07資料更新:2026年3月25日

VRAM 計算器

我的 GPU VRAM:
量化等級
上下文長度
Q4_K_M · 8K context
模型權重 + KV Cache + 0.5 GB overhead
18.0 GB
完整 VRAM 對照表(所有量化 × 上下文)
量化1K4K8K16K32K64K128K
FP16 / BF1649.1 GB50.8 GB52.5 GB55.5 GB60.7 GB69.9 GB85.9 GB
Q2_K8.9 GB10.6 GB12.3 GB15.3 GB20.5 GB29.7 GB45.7 GB
Q3_K_M11.6 GB13.3 GB15.0 GB18.0 GB23.2 GB32.4 GB48.4 GB
Q4_K_M14.6 GB16.3 GB18.0 GB21.0 GB26.2 GB35.4 GB51.4 GB
Q5_K_M17.6 GB19.3 GB21.0 GB24.0 GB29.2 GB38.4 GB54.4 GB
Q6_K20.6 GB22.3 GB24.0 GB27.0 GB32.2 GB41.4 GB57.4 GB
Q8_026.6 GB28.3 GB30.0 GB33.0 GB38.2 GB47.4 GB63.4 GB

部署指南

方法一:Ollama(最簡單)

安裝 Ollama 後直接執行,自動下載並運行模型。

ollama run devstral:24b

方法二:llama.cpp

適合進階用戶,支援 CPU 和 GPU 混合推理,可精確控制量化等級。

# Download GGUF model from Hugging Face, then run:
./llama-cli -m model.gguf -p "Hello" -n 128

方法三:vLLM(高效能伺服器)

適合生產環境,支援批次推理和 OpenAI 相容 API。

pip install vllm
vllm serve Mistral --dtype auto
ollama run devstral:24b

規格

參數量24B
最大上下文128K tokens
HF 下載量34K/月

模型強項

頂尖程式碼代理SWE-bench 高效能長上下文理解多檔案編輯開源商用友善

推薦用途

  • 用於自動化軟體工程任務,如程式碼探索、多檔案修改及錯誤修復。
  • 作為軟體開發代理的核心模型,提升開發流程的自動化程度與效率。

標籤

程式碼Apache 2.0SWE-benchAgent

部署工具

OllamavLLMllama.cpp

使用心得

分享你的使用體驗,幫助其他人了解這個模型

0/1000
還沒有評論,成為第一個分享心得的人!