Qwen3.5 大型 MoE 模型,122B 總參數激活 10B,支援 262K 上下文。在 llm-stats.com 開源排行榜名列第 5,Code Arena 1136,GPQA 88.4%。
| 量化 | 1K | 4K | 8K | 16K | 32K | 64K | 128K | 262K |
|---|---|---|---|---|---|---|---|---|
| FP16 / BF16 | 2.3 GB | 2.9 GB | 3.5 GB | 4.5 GB | 6.4 GB | 9.6 GB | 15.2 GB | 25.0 GB |
| Q2_K | 1.0 GB | 1.6 GB | 2.2 GB | 3.2 GB | 5.0 GB | 8.2 GB | 13.9 GB | 23.7 GB |
| Q3_K_M | 1.0 GB | 1.6 GB | 2.2 GB | 3.3 GB | 5.1 GB | 8.3 GB | 13.9 GB | 23.8 GB |
| Q4_K_M★ | 1.1 GB | 1.7 GB | 2.3 GB | 3.4 GB | 5.2 GB | 8.4 GB | 14.0 GB | 23.9 GB |
| Q5_K_M | 1.2 GB | 1.8 GB | 2.4 GB | 3.5 GB | 5.3 GB | 8.5 GB | 14.1 GB | 24.0 GB |
| Q6_K | 1.3 GB | 1.9 GB | 2.5 GB | 3.6 GB | 5.4 GB | 8.6 GB | 14.2 GB | 24.1 GB |
| Q8_0 | 1.5 GB | 2.1 GB | 2.7 GB | 3.8 GB | 5.6 GB | 8.8 GB | 14.4 GB | 24.3 GB |
安裝 Ollama 後直接執行,自動下載並運行模型。
ollama run qwen3.5:0.8b
適合進階用戶,支援 CPU 和 GPU 混合推理,可精確控制量化等級。
# Download GGUF model from Hugging Face, then run: ./llama-cli -m model.gguf -p "Hello" -n 128
適合生產環境,支援批次推理和 OpenAI 相容 API。
pip install vllm vllm serve Qwen3.5 --dtype auto
下載 LM Studio,在搜尋欄輸入模型名稱,點擊下載即可。支援 Windows/Mac/Linux。
ollama run qwen3.5:0.8b分享你的使用體驗,幫助其他人了解這個模型
TESTING