🧠 語言模型Apache 2.0

Step 3.5 Flash (65.5B Dense)

Step-3.5-Flash，階躍星辰 2026 年 2 月發布，65.5B 參數，Apache 2.0 授權，65K 上下文，GPQA 78.0%，SWE-bench 44.0%。

📅 發布：2026-02↻資料更新：2026年3月25日

VRAM 計算器

我的 GPU VRAM：
量化等級
上下文長度
Q4_K_M · 8K context
模型權重 + KV Cache + 0.5 GB overhead
43.7 GB
完整 VRAM 對照表（所有量化 × 上下文）
量化1K4K8K16K32K64K
FP16 / BF16132.4 GB135.1 GB137.9 GB142.7 GB151.0 GB165.7 GB
Q2_K22.7 GB25.4 GB28.2 GB33.0 GB41.3 GB56.0 GB
Q3_K_M30.1 GB32.8 GB35.5 GB40.3 GB48.7 GB63.4 GB
Q4_K_M★38.3 GB41.0 GB43.7 GB48.5 GB56.9 GB71.6 GB
Q5_K_M46.4 GB49.2 GB51.9 GB56.7 GB65.1 GB79.7 GB
Q6_K54.6 GB57.4 GB60.1 GB64.9 GB73.3 GB87.9 GB
Q8_071.0 GB73.7 GB76.5 GB81.3 GB89.6 GB104.3 GB

部署指南

方法二：llama.cpp

適合進階用戶，支援 CPU 和 GPU 混合推理，可精確控制量化等級。

# Download GGUF model from Hugging Face, then run:
./llama-cli -m model.gguf -p "Hello" -n 128

方法三：vLLM（高效能伺服器）

適合生產環境，支援批次推理和 OpenAI 相容 API。

pip install vllm
vllm serve StepFun --dtype auto

規格

參數量65.5B
最大上下文65K tokens
HF 下載量86K/月

模型強項

長上下文處理高效能部署程式碼理解通用問答開源商用

推薦用途

  • ▸適用於需要處理大量文本資訊的智能客服或內容摘要應用。
  • ▸適合開發者進行程式碼生成、除錯與優化，提高軟體開發效率。
  • ▸可作為企業級知識庫問答系統的基底模型，提供精準資訊檢索。

標籤

65KApache 2.0StepFun

部署工具

vLLMSGLang

使用心得

分享你的使用體驗，幫助其他人了解這個模型

0/1000
還沒有評論，成為第一個分享心得的人！