distil-whisper 是 Whisper large-v3 的蒸餾版本,速度快 6 倍,準確率相近,HF 月下載 890 萬次,MIT 授權。
適合進階用戶,支援 CPU 和 GPU 混合推理,可精確控制量化等級。
# Download GGUF model from Hugging Face, then run: ./llama-cli -m model.gguf -p "Hello" -n 128
分享你的使用體驗,幫助其他人了解這個模型