我每次总会反问一句话：
学AI？你主要学啥。
对方就会跟我说，搞个知识库，画画图，做做AI编程，学学AI视频啥的。
这时候我就会问他们，你是有很多的不能上云端的隐私数据吗，还是你要在本地玩一些自定义或者很特别的工作流？
这时候有朋友就懵逼了。。。
说啊？这些是啥？玩AI不需要好配置的吗。
反过来给我也问懵了。
所以，我觉得，我还是想写一篇文章，来给大家聊一聊，到底什么样的AI，适合在本地跑，什么样的AI，适合在云端跑，什么样的AI，直接网页上用就行了。。。
-
对算力的要求是多少。
-
是否有安全、保密的隐私需求。
模型的参数量种类有很多很多，1.5B，8B，14B，32B…
比如Qwen家的，参数一堆。
哪些能在本地跑，哪些不能在本地跑，要搞清楚这个，我们首先得做点小学二年级数学题….
B全称为Billion，十亿。
1B的模型就说明有10亿个参数，一个全精度的参数为4个字节，那么1B的模型为40亿字节。
1GB恰好为10亿个字节，也就是说，跑一个1B的参数需要4GB的显存。
但是对于大模型推理来说，全精度（FP32）太浪费资源了，所以大多数，我们会跑半精度（FP16）或者INT8量化的模型，也就是一个参数占2个字节或者1个字节。
这样，跑一个1B的参数只需要2GB显存，跑一个8B的参数只需要16GB显存。
虽然在推理的时候，还需要一定的显存做上下文缓存，但是加上量化，推理优化等等方法，本地16GB显存跑一个8B的模型还是OK的。
比如说，前两天DeepSeek在qwen3-8B蒸馏出的deepSeek-R1-0528-Qwen3-8B模型可以完完全全部署在本地跑。
有了这个概念之后，你就会知道，虽然本地部署大语言模型的方法多种多样，不管是ollama，还是LM studio，或者vllm，你只需要关注三点：
1. 模型的参数量。
2. 模型是否量化。
3. 你的显卡显存。
基本上，14B及以上的模型跑在本地还是很麻烦，比如一个INT8的14B模型，我在5080上跑，很慢，而且留给KV缓存的空间很少，真要跑，还是4090或者5090会好一些。
14B以下的模型，需要你自己评估一下参数量以及显存的大小。
上面谈到的都是语言模型，那么图像模型，视频模型，音频模型，3D模型呢，其实基本差不多，一样的道理。
比如大家都熟悉的ComfyUI，一个强大的生产力工具，可以生成图像，视频，音频，3D模型；但是在本地使用ComfyUI的前提是，你的显卡得hold得住这些模型。
ComfyUI官方推荐了一些模型，这些模型参数量多少，需要多少显存我都列在了这里。
上面说了这么多，你肯定对什么样的配置能在本地跑模型，有一些自己的想法了。
但是这时候你可能又会问，本地跑模型到底有哪些好处，为什么非得跑在本地啊，我去网页上用不香么？
所以这里要说的，就是隐私安全与合规性问题了，如果你有很重要的数据不希望泄露或者出现在别人和模型的对话中，比如商业机密，医疗数据等等，那么你只能选择本地部署一个模型。
本地部署模型绝对不会出现数据泄露的问题，因为所有的计算都在你自己的电脑上完成，除此之外，没有任何的请求，所以本地部署的模型，不用联网也能用。
举个例子，我们都知道知识库这个东西，我们也有很多教程，比如用Dify、扣子、ima啥的来搭自己的知识库。
你当然有很多很多的内容，可以扔上去，但是如果，是你自己公司的资料呢？如果是你的隐私数据呢？你敢扔上去吗？
比较最最核心的模型服务，都是在人家那，隐私保护，是最最核心的，没有之一。
但是你又有AI辅助的需求，你就只能选择本地部署，没有别的办法。
举个例子，《流浪地球3》的剧本，你动脑子想，都能知道，这玩意保密性有多强，一个电影上映前，剧本泄露，就是最恐怖的事情，但是我们当然有需求，针对剧本进行一系列未来视觉化的工业化AI辅助和流程。
这玩意我们敢扔到任何所谓的什么ChatGPT、Gemin、Claude、DeepSeek、元宝、豆包上吗，敢扔那就是疯了。
所以只能部分搭本地用5090D来推理，部分找云服务厂商合作。
但是如果是个人使用，其实也不需要5090D这种级别的卡，5060ti或者5070其实也就差不多了。
你像豆包PC版，就跟英伟达一块，搞了个本地知识问答。
就是为了解决隐私的本地知识库的需求。
下载下来的模型是个7B的，推荐使用12G以上的显卡去用，基本也就是5060ti以上了。
不过有个好玩的是，这个7B的模型，是智谱的GLM-4。。。
当然你也可以用Ollama啥的自己来部署，就是麻烦一些。
本地部署还有一个优势，就是一旦部署，无限免费使用。
比如用ComfyUI随便跑，随便roll，无延迟，无排队，最最重要的是，再也不用积分焦虑了。
但是话又说回来了，由于本地受限于算力的问题，参数量太大的模型跑不了，但参数量更大的模型意味着更好的表现，更广的知识面，更稳定的输出。
如果你是一个企业的负责人，需要为员工配置大模型，但又不希望隐私泄露出去，其实我更推荐的就是，可以选择在云端（火山引擎、阿里云等云服务厂商）部署大模型，比如Qwen2.5 72B（需要4张 48GB显存的显卡）。
如果只是自己偶尔用一用，也不涉及隐私数据啥的，其实像我一直推荐的AutoDL之类的也不错，你可以直接去租一下服务器临时用。
以上，看完了以后，我觉得对于你是否需要一台能玩AI的设备，现在有了一个非常明确的判断了。
如果你明确了，你确实需要一台的本地设备的话，我也推荐几个618值得买的笔记本，目前都还有货，且我自己觉得不错的（非利益相关）。
台式机我就不推荐了，台式机大家还是自己攒吧，5060Ti、5070、5070Ti都可以，当然你要是预算足够，上5080和5090D也没啥问题。。。
主要是推荐几款笔记本（我自己主观意见）。
按你的预算价位划分。
5000元档。
机械革命极光X，5060 8G+i7-13700HX，国补完5332，性价比拉满。
6000元档。
无脑HP暗影精灵11，5060 8G+i7-13700HX，原价7799，现在6208。
7000元档。
依然HP暗影精灵11，显卡升级成5070，加了800块钱，原价8699，现在到手价6959。
华硕天选6 Pro 锐龙版，5070 12G+8940HX，原价9499现在国补完7599。
说实话，我自己已经很久不买intel的CPU了，从20年开始，我换的电脑的CPU全是AMD的，还记得我20年换的本就是华硕天选2锐龙版，那时候疫情困在家里一直爽玩命运2，现在那台天选2已经是我妈的专属了。
8000元档。
想买5070Ti，直接上机械革命蛟龙吧，5070Ti 16G + R9-8945HX，原价10499，国补打折完7873，8000不到5070Ti带回家。
以上，自行去京东搜索就行。
当然，如果你们也想看看其他的搭载了50系显卡的笔记本，也可以去英伟达的这个网页里面看，里面非常的全，基本都列出来了。
https://pro.jd.com/mall/active/2UBbPZExaeXMVFrAp8FMfNUJ9SfK/index.html
文章底部的阅读原文我也放了，手机看文章的小伙伴想看的话，可以自行去点那个链接。
大家有更好更推荐的，也欢迎评论区打出来，或者还有什么618值得买的小玩意。
希望这篇文章。
对大家，有一些帮助。
（文：数字生命卡兹克）