手把手教学：40000 元在家跑顶级DeepSeek R1的完整方案！

作者

在家运行670B参数超级AI DeepSeek R1 的方案来了！

Hugging Face工程师Matthew Carrigan公布了一套超详细的配置指南，让普通人也能用6000美元在家运行DeepSeek R1这样的超大模型，对应人民币则约4万元。

现在，我来带大家一步一步看看该怎么做。

第一步：准备硬件

这套方案最让人兴奋的点是：不需要买昂贵的显卡！

我们只需要购买以下配件：

主板选择

要买双路EPYC主板，建议选择Gigabyte MZ73-LM0或MZ73-LM1。

为什么选这个？

因为它有24条内存插槽，能让我们接入足够多的内存。

CPU选择

需要买两个AMD EPYC处理器。

别担心，不需要买最贵的型号，因为运行AI主要吃内存带宽，所以可以选择便宜一点的EPYC 9115或9015。

内存配置

这是最关键的部分！

需要买24条32GB的DDR5内存条，总共768GB。

Matthew建议用V-color或Nemix的内存，性价比更高。

其他配件

  • 机箱：选Phanteks Enthoo Pro 2服务器版，因为普通机箱装不下这么大的主板

  • 电源：海盗船HX1000i就够用了，因为整机功耗其实不到400W

  • CPU散热器：可以选Arctic Freezer 4U-SP5，记得买两个，因为有两个CPU

  • 硬盘：随便买个1TB以上的NVMe固态硬盘就行

第二步：组装电脑

  1. 安装CPU：小心把两个EPYC处理器放进主板的CPU插槽

  2. 安装散热器：每个CPU上都要装一个散热器，注意要涂导热膏

  3. 安装内存：把24条内存条分别插入主板的内存插槽，要注意方向

  4. 其他安装：按普通电脑的方式装好电源、硬盘等其他配件

第三步：软件配置

系统安装

  1. 下载一个Linux系统，比如Ubuntu

  2. 制作启动U盘并安装系统

  3. 安装完成后进BIOS把NUMA组设为0（这很重要，能提升性能）

安装AI运行环境

  1. 安装llama.cpp：
git clone https://github.com/ggerganov/llama.cppcd llama.cppmake
  1. 下载模型文件：

  • 打开浏览器访问：https://huggingface.co/unsloth/DeepSeek-R1-GGUF/tree/main

  • 找到Q8_0文件夹

  • 下载里面的所有文件（有700GB那么大）

第四步：运行模型

准备工作都做完了，接下来就是激动人心的启动时刻：

  1. 打开终端，进入llama.cpp文件夹

  2. 输入启动命令：

llama-cli -m ./DeepSeek-R1.Q8_0-00001-of-00015.gguf --temp 0.6 -no-cnv -c 16384

  1. 等待模型加载：因为要加载700GB的文件到内存，需要等一会儿

  2. 开始对话：加载完成后就可以和AI聊天了！

Roland Fernandez(@rolandalong)问了大家最关心的问题：

这套系统的运行速度如何？

Matthew给出了具体数据：每秒能生成6-8个字。虽然不算快，但已经够用了！

虽然速度不够快，但重要的是，这套方案让普通人也有机会亲手玩转顶级AI模型了！

虽然要花6000美元，但比起企业级的动辄几十万的解决方案，这已经是一个巨大的进步。

One More Thing！

本地运行时，还有一个神奇用法！

Matthew Carrigan 透露了一个秘密：在本地运行Deepseek-R1时，我们可以窥探并参与它的「内心独白」！

这意味着，我们可以直接编写模型的内部思考过程，让模型顺着我们的思路去走。

从而让我们更好地理解和控制AI的决策过程，这不仅很有趣，可能还很危险！

想试试的朋友，赶紧整起来吧！

相关链接

  • 主板：https://www.gigabyte.com/Enterprise/Server-Motherboard/MZ73-LM0-rev-3x

  • 机箱：https://www.newegg.com/black-phanteks-enthoo-pro-2-server-edition-full-tower/p/N82E16811854127

  • 电源：https://www.corsair.com/us/en/p/psu/cp-9020259-na/hx1000i-fully-modular-ultra-low-noise-platinum-atx-1000-watt-pc-power-supply-cp-9020259-na

  • 散热器：https://www.arctic.de/en/Freezer-4U-SP5/ACFRE00158A

  • llama.cpp项目：https://github.com/ggerganov/llama.cpp

  • 模型下载：https://huggingface.co/unsloth/DeepSeek-R1-GGUF/tree/main

（文：AGI Hunt）

欢迎分享

发表评论