🧠 語言模型MoEMIT

Phi-3.5-MoE-instruct

Microsoft Phi-3.5-MoE，41.9B 總參數（6.6B 激活），MIT 授權，128K 上下文，以小激活參數達到大模型效果。

📅 發布：2024-08↻資料更新：2026年5月11日

VRAM 計算器

我的 GPU VRAM：
量化等級
上下文長度
Q4_K_M · 8K context
模型權重 + KV Cache + 0.5 GB overhead
4.0 GB
完整 VRAM 對照表（所有量化 × 上下文）
量化4K8K16K32K64K128K
Q4_K_M★3.8 GB4.0 GB4.4 GB5.2 GB6.8 GB10 GB
Q8_07.1 GB7.3 GB7.7 GB8.5 GB10 GB13 GB

部署指南

方法一：Ollama（最簡單）

安裝 Ollama 後直接執行，自動下載並運行模型。

ollama run phi3.5:42b-moe

方法二：llama.cpp

適合進階用戶，支援 CPU 和 GPU 混合推理，可精確控制量化等級。

# Download GGUF model from Hugging Face, then run:
./llama-cli -m model.gguf -p "Hello" -n 128

方法三：vLLM（高效能伺服器）

適合生產環境，支援批次推理和 OpenAI 相容 API。

pip install vllm
vllm serve Phi --dtype auto
ollama run phi3.5:42b-moe

規格

參數量41.9B (A6.6B)
最大上下文128K tokens
HF 下載量108K/月

模型強項

高效能小參數長上下文理解多語言支援指令遵循高品質推理

推薦用途

  • ▸在資源有限的環境下，部署為高效能的智能助理或客服機器人，處理複雜查詢。
  • ▸用於需要處理大量文本並進行精確指令遵循的內容生成、摘要或翻譯任務。
  • ▸作為開發者工具，提供程式碼生成、除錯建議及多語言文件理解，提升開發效率。

標籤

MITMoE128K高效

部署工具

OllamavLLMllama.cpp

關於 Phi-3.5-MoE-instruct — 開源 AI 模型

Phi-3.5-MoE-instruct 是一個開源語言模型，擁有 41.9B (A6.6B) 參數，採用 MIT 授權。可使用 Ollama、vLLM、llama.cpp 進行部署。適用場景包括：在資源有限的環境下，部署為高效能的智能助理或客服機器人，處理複雜查詢。、用於需要處理大量文本並進行精確指令遵循的內容生成、摘要或翻譯任務。、作為開發者工具，提供程式碼生成、除錯建議及多語言文件理解，提升開發效率。。核心優勢：高效能小參數、長上下文理解、多語言支援、指令遵循、高品質推理。 可在本地硬體上自行部署，完全保護隱私，無需 API 金鑰。

使用心得

分享你的使用體驗，幫助其他人了解這個模型

0/1000
還沒有評論，成為第一個分享心得的人！