DeepSeek R1本地部署，小白教程来了！

作者


MLNLP社区是国内外知名的机器学习与自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。
社区的愿景是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。
来源 | Datawhale

DeepSeek-R1

DeepSeek 开源了完整的 deepseek-r1 671B 的权重，同时也开源了一些蒸馏出来的小的Disstill 小模型。从论文给出的评测表看，蒸馏出的 qwen-14b 模型的能力完全不输 OpenAI-o1-mini。　
接下来，我们可以借助 LMStudio 本地部署 DeepSeek-R1-Disstill 系列模型，并部署 API 可以接入到 cursor 等 AI IDE 中。　

LMStudio

LM Studio 是一款功能强大的本地部署大模型的工具。LMStudio 强调本地化操作，确保数据隐私和安全，特别适合处理敏感数据的场景。它支持跨平台使用，能够在 Windows、macOS 和 Linux 系统上运行，满足不同用户的需求。无论是初学者还是资深开发者，LM Studio 都能提供灵活的工具和便捷的操作体验，助力机器学习项目的快速推进。

Step 1：下载LMStudio

大家可以在LMStudio的官网下载对应的安装包，支持 Windows，Linux，MacOS。　
📌

Github Link: https://github.com/lmstudio-ai/lmstudio.js　

LMStudio 官网: https://lmstudio.ai/　

注：请下载0.3.9版本，本教程仅适用于该版本。　

Step 2：更换模型下载源及模型下载路径

LMStudio 的默认模型下载地址为 Hugging Face 平台，但由于众所周知的原因，我们需要设置一下国内可访问的 HF 镜像源。一共需要修改两个文件。　

Step 2.1 ：修改模型下载源

  • 首先打开 LMStudio 的下载安装位置，如果你忘记刚刚下载到哪里了，可以右键点击桌面上的 LMStudio 的图标，点击属性。点击“打开文件所在位置”即可。
  • 一共需要修改两个文件，如下所示：
📌

  • LMStudio文件位置\resources\app\.webpack\renderer\main_window.js

  • LMStudio文件位置\resources\app\.webpack\main\index.js

main_window.js 文件有点大，使用 windows 自带的文本编辑器打开可能会有点慢，建议使用 vscode 打开，全部替换。　

https://huggingface.co/

https://hf-mirror.com/
将https://huggingface.co/全部替换为https://hf-mirror.com/，然后重新打开LMStudio即可。　

Step 2.2 ：下载模型并进行对话

  • 修改完成之后重新打开 LMStudio，首先点击左侧的放大镜按钮，在搜索框搜索r1，然后点击下面的搜索结果，进行下载即可。
注：如果此处没有搜索结果的话，请返回上一步检查是否替换完全，或是检查电脑网络问题。　
  • 然后就可以在 LMStudio 的主界面进行对话啦，这里我使用了 deepseek-r1-distill-qwen-7b 进行提问” Strawberries 有几个 r ？”经典问题哈，也是回答正确！
我的设备是笔记本的 3060，显存 6G。LMStudio 加载模型，当你的显存不够用时，会使用内存加载一部分参数，所以显存小也是可以本地部署一下的。　

Step 2.3 ：部署 r1 api

  • 点击 LMStudio 主界面的第二个按钮，可以进入开发者界面，打开此处的 api 部署服务，并在 Setting 中选择全部打开，这样就算 windows 部署 LMStudio 之后也可以在wsl 中访问到服务。

结语

希望这个教程可以帮到大家，在 DeepSeek 遭受 DDOS 攻击无法使用之时。　

（文：机器学习算法与自然语言处理）

欢迎分享

发表评论