DeepSeek R1 – 最强大的开源推理模型 – 现已提供 GGUF 格式，以及原始和4位量化格式。包含经过蒸馏优化的 Llama 和 Qwen 模型。deepseek qwen，llama的蒸馏版本，适合普通人用显卡跑。目前量化版本已经已经发布了。7B的4Q量化版本，不过4.68G，而14B的版本也就不到9G，很多显卡都能跑起来。
参考文献：
[1] https://huggingface.co/collections/unsloth/deepseek-r1-all-versions-678e1c48f5d2fce87892ace5
[2] https://huggingface.co/unsloth/DeepSeek-R1-Distill-Qwen-7B-GGUF
（文：NLP工程化）