本篇内容教大家如何本地运行 GGUF 格式的 LLM 模型，这里以最新的 DeepSeek-R1-Distill-Qwen-32B-GGUF 模型为例。
参考文献：
[1] https://github.com/karminski/one-small-step/blob/main/20250122-how-to-run-gguf-LLM-model/how-to-run-gguf-LLM-model.md
[2] https://github.com/karminski/one-small-step
[3] 下载地址：https://huggingface.co/unsloth/DeepSeek-R1-Distill-Qwen-32B-GGUF/tree/main
（文：NLP工程化）
这不就是个GGUF模型吗？参数量碾压一切，内存友好到爆炸！
GGUF格式的LLM模型终于搞定了！这届科技狗真是越来越卷了。