unsloth团队已经放出量化版本的DeepSeek-R1-Distill了

unsloth团队已经放出量化版本的DeepSeek-R1-Distill了。Qwen-32B-Q4_K_M 版本直接就压缩到了20GB,已经能在消费级单卡跑了。

参考文献:
[1] 量化版本下载地址:https://huggingface.co/unsloth/DeepSeek-R1-Distill-Qwen-32B-GGUF/tree/main


(文:NLP工程化)

欢迎分享

发表评论