本篇内容教大家如何本地运行 GGUF 格式的 LLM 模型，这里以最新的 DeepSeek-R1-Distill-Qwen-32B-GGUF 模型为例。
参考文献：
[1] https://github.com/karminski/one-small-step/blob/main/20250122-how-to-run-gguf-LLM-model/how-to-run-gguf-LLM-model.md
[2] https://github.com/karminski/one-small-step
[3] 下载地址：https://huggingface.co/unsloth/DeepSeek-R1-Distill-Qwen-32B-GGUF/tree/main
（文：NLP工程化）