🧠 語言模型MoEApache 2.0🔒 需申請存取

LongCat-Flash-Lite

LongCat-Flash-Lite,美團 2026 年 2 月發布,560B MoE 模型,Apache 2.0 授權,256K 上下文,GPQA 66.8%,長文本處理能力突出。

📅 發布:2026-02資料更新:2026年3月23日

VRAM 計算器

我的 GPU VRAM:
量化等級
上下文長度
Q4_K_M · 8K context
模型權重 + KV Cache + 0.5 GB overhead
323.5 GB
完整 VRAM 對照表(所有量化 × 上下文)
量化1K4K8K16K32K64K128K
FP16 / BF161121.6 GB1125.1 GB1128.5 GB1134.5 GB1144.9 GB1163.3 GB1195.3 GB
Q2_K183.6 GB187.1 GB190.5 GB196.5 GB206.9 GB225.3 GB257.3 GB
Q3_K_M246.6 GB250.1 GB253.5 GB259.5 GB269.9 GB288.3 GB320.3 GB
Q4_K_M316.6 GB320.1 GB323.5 GB329.5 GB339.9 GB358.3 GB390.3 GB
Q5_K_M386.6 GB390.1 GB393.5 GB399.5 GB409.9 GB428.3 GB460.3 GB
Q6_K456.6 GB460.1 GB463.5 GB469.5 GB479.9 GB498.3 GB530.3 GB
Q8_0596.6 GB600.1 GB603.5 GB609.5 GB619.9 GB638.3 GB670.3 GB

部署指南

方法二:llama.cpp

適合進階用戶,支援 CPU 和 GPU 混合推理,可精確控制量化等級。

# Download GGUF model from Hugging Face, then run:
./llama-cli -m model.gguf -p "Hello" -n 128

方法三:vLLM(高效能伺服器)

適合生產環境,支援批次推理和 OpenAI 相容 API。

pip install vllm
vllm serve LongCat --dtype auto

規格

參數量560B
最大上下文256K tokens
HF 下載量60K/月

模型強項

長文本處理大規模模型高效推理開源商用

推薦用途

  • 處理和分析超長篇幅文檔,如法律條款、研究報告等,進行摘要或問答。
  • 開發需要深度理解和生成長篇內容的應用,例如智能客服或內容創作工具。

標籤

256KApache 2.0美團長文本

部署工具

vLLMSGLang

使用心得

分享你的使用體驗,幫助其他人了解這個模型

0/1000
還沒有評論,成為第一個分享心得的人!