unsloth团队已经放出量化版本的DeepSeek-R1-Distill了 上午8时 2025/01/22 作者 NLP工程化 unsloth团队已经放出量化版本的DeepSeek-R1-Distill了。Qwen-32B-Q4_K_M 版本直接就压缩到了20GB,已经能在消费级单卡跑了。 参考文献:[1] 量化版本下载地址:https://huggingface.co/unsloth/DeepSeek-R1-Distill-Qwen-32B-GGUF/tree/main (文:NLP工程化) 欢迎分享