👁️ 多模態Mistral Research

Pixtral Large

Mistral Pixtral Large 123B 視覺語言旗艦,128K 上下文,視覺理解能力頂尖,需多 GPU 部署(Q4 約 74 GB)。

📅 發布:2024-11資料更新:2026年3月25日

VRAM 計算器

我的 GPU VRAM:
量化等級
上下文長度
Q4_K_M · 8K context
模型權重 + KV Cache + 0.5 GB overhead
78.5 GB
完整 VRAM 對照表(所有量化 × 上下文)
量化1K4K8K16K32K64K128K
FP16 / BF16247.8 GB251.5 GB255.3 GB261.9 GB273.4 GB293.5 GB328.8 GB
Q2_K41.7 GB45.5 GB49.2 GB55.8 GB67.3 GB87.5 GB122.8 GB
Q3_K_M55.6 GB59.3 GB63.1 GB69.7 GB81.2 GB101.3 GB136.6 GB
Q4_K_M70.9 GB74.7 GB78.5 GB85.0 GB96.6 GB116.7 GB152.0 GB
Q5_K_M86.3 GB90.1 GB93.8 GB100.4 GB111.9 GB132.1 GB167.4 GB
Q6_K101.7 GB105.4 GB109.2 GB115.8 GB127.3 GB147.5 GB182.8 GB
Q8_0132.4 GB136.2 GB140.0 GB146.5 GB158.1 GB178.2 GB213.5 GB

部署指南

方法二:llama.cpp

適合進階用戶,支援 CPU 和 GPU 混合推理,可精確控制量化等級。

# Download GGUF model from Hugging Face, then run:
./llama-cli -m model.gguf -p "Hello" -n 128

方法三:vLLM(高效能伺服器)

適合生產環境,支援批次推理和 OpenAI 相容 API。

pip install vllm
vllm serve Mistral --dtype auto

規格

參數量123B
最大上下文128K tokens
HF 下載量3K/月

模型強項

旗艦多模態頂級視覺理解超長上下文多語言支援

推薦用途

  • 適用於需要深度視覺分析與複雜語言理解的進階應用,例如圖像內容生成與分析。
  • 適合處理包含大量文本和圖像資訊的任務,例如多模態報告摘要或智能客服。

標籤

視覺128K旗艦

部署工具

vLLMSGLang

使用心得

分享你的使用體驗,幫助其他人了解這個模型

0/1000
還沒有評論,成為第一個分享心得的人!