vLLM

vLLM 是高性能 LLM 推理引擎，使用 PagedAttention 技術大幅提升吞吐量，適合生產環境部署，支援 OpenAI 相容 API。