🧠 語言模型MoEApache 2.0🔒 需申請存取

LongCat-Flash-Thinking-2601

LongCat-Flash-Thinking-2601，美團 2026 年 1 月發布，560B MoE 推理增強版本，Apache 2.0 授權，GPQA 81.5%，SWE-bench 59.4%。

📅 發布：2026-01↻資料更新：2026年3月23日

VRAM 計算器

我的 GPU VRAM：
量化等級
上下文長度
Q4_K_M · 8K context
模型權重 + KV Cache + 0.5 GB overhead
323.5 GB
完整 VRAM 對照表（所有量化 × 上下文）
量化1K4K8K16K32K64K128K
FP16 / BF161121.6 GB1125.1 GB1128.5 GB1134.5 GB1144.9 GB1163.3 GB1195.3 GB
Q2_K183.6 GB187.1 GB190.5 GB196.5 GB206.9 GB225.3 GB257.3 GB
Q3_K_M246.6 GB250.1 GB253.5 GB259.5 GB269.9 GB288.3 GB320.3 GB
Q4_K_M★316.6 GB320.1 GB323.5 GB329.5 GB339.9 GB358.3 GB390.3 GB
Q5_K_M386.6 GB390.1 GB393.5 GB399.5 GB409.9 GB428.3 GB460.3 GB
Q6_K456.6 GB460.1 GB463.5 GB469.5 GB479.9 GB498.3 GB530.3 GB
Q8_0596.6 GB600.1 GB603.5 GB609.5 GB619.9 GB638.3 GB670.3 GB

部署指南

方法二：llama.cpp

適合進階用戶，支援 CPU 和 GPU 混合推理，可精確控制量化等級。

# Download GGUF model from Hugging Face, then run:
./llama-cli -m model.gguf -p "Hello" -n 128

方法三：vLLM（高效能伺服器）

適合生產環境，支援批次推理和 OpenAI 相容 API。

pip install vllm
vllm serve LongCat --dtype auto

規格

參數量560B
最大上下文128K tokens
HF 下載量45K/月

模型強項

長上下文理解高效推理知識問答程式碼輔助

推薦用途

  • ▸適用於需要處理大量文本資訊的長篇文件分析與摘要生成。
  • ▸適合用於複雜問題的邏輯推理與知識檢索，例如學術研究或專業諮詢。
  • ▸可用於程式碼錯誤偵測、優化建議及自動化程式碼生成等開發輔助任務。

標籤

128KApache 2.0美團推理

部署工具

vLLMSGLang

使用心得

分享你的使用體驗，幫助其他人了解這個模型

0/1000
還沒有評論，成為第一個分享心得的人！