🧠 語言模型8 版本Apache 2.0

Qwen3.5

Qwen3.5 大型 MoE 模型,122B 總參數激活 10B,支援 262K 上下文。在 llm-stats.com 開源排行榜名列第 5,Code Arena 1136,GPQA 88.4%。

📅 發布:2026-02🔄 最新:2026-03資料更新:2026年3月25日

選擇版本(參數量)

VRAM 計算器

我的 GPU VRAM:
量化等級
上下文長度
Q4_K_M · 8K context
模型權重 + KV Cache + 0.5 GB overhead
2.3 GB
完整 VRAM 對照表(所有量化 × 上下文)
量化1K4K8K16K32K64K128K262K
FP16 / BF162.3 GB2.9 GB3.5 GB4.5 GB6.4 GB9.6 GB15.2 GB25.0 GB
Q2_K1.0 GB1.6 GB2.2 GB3.2 GB5.0 GB8.2 GB13.9 GB23.7 GB
Q3_K_M1.0 GB1.6 GB2.2 GB3.3 GB5.1 GB8.3 GB13.9 GB23.8 GB
Q4_K_M1.1 GB1.7 GB2.3 GB3.4 GB5.2 GB8.4 GB14.0 GB23.9 GB
Q5_K_M1.2 GB1.8 GB2.4 GB3.5 GB5.3 GB8.5 GB14.1 GB24.0 GB
Q6_K1.3 GB1.9 GB2.5 GB3.6 GB5.4 GB8.6 GB14.2 GB24.1 GB
Q8_01.5 GB2.1 GB2.7 GB3.8 GB5.6 GB8.8 GB14.4 GB24.3 GB

部署指南

方法一:Ollama(最簡單)

安裝 Ollama 後直接執行,自動下載並運行模型。

ollama run qwen3.5:0.8b

方法二:llama.cpp

適合進階用戶,支援 CPU 和 GPU 混合推理,可精確控制量化等級。

# Download GGUF model from Hugging Face, then run:
./llama-cli -m model.gguf -p "Hello" -n 128

方法三:vLLM(高效能伺服器)

適合生產環境,支援批次推理和 OpenAI 相容 API。

pip install vllm
vllm serve Qwen3.5 --dtype auto

LM Studio(圖形介面)

下載 LM Studio,在搜尋欄輸入模型名稱,點擊下載即可。支援 Windows/Mac/Linux。

ollama run qwen3.5:0.8b

規格

參數量800M
最大上下文262K tokens
HF 下載量890K/月

模型強項

超長上下文高效MoE架構多模態理解旗艦級性能低顯存高效

推薦用途

  • 處理極長文檔的分析與摘要,如法律條文、學術論文等,進行深度內容理解。
  • 開發需要視覺與語言結合的應用,例如圖像描述生成、視覺問答系統。
  • 在資源受限的環境下,部署高性能的語言模型,進行高效推理與內容生成。

標籤

推薦超長上下文262K中文嵌入式低顯存高效HF 熱門高效推理MoE旗艦

部署工具

Ollamallama.cppLM StudiovLLMSGLang

使用心得1

分享你的使用體驗,幫助其他人了解這個模型

0/1000
T
TESTING8 小時前

TESTING