在CPU上运行100B模型只需4MB内存！微软BitNet掀了英伟达的桌子！

上午8时 2025/04/23 作者 PyTorch研习社

在AI大模型领域，微软再次以惊人之势打破常规：BitNet，一个专为1位LLM（Large Language Model）设计的推理框架，正以前所未有的极简精度和超高性能，颠覆你对算力与资源的所有认知。它采用三值量化（-1、0、+1），将模型大小瘦身至原来的1/16，CPU上可获得2.37×–6.17×的加速，同时节能高达82.2%。不仅如此，BitNet甚至可以在普通笔记本CPU上实现100B参数级模型的本地推理，让“随身携带顶级AI”不再只是科幻！

BitNet是什么？

BitNet是微软开源的1位LLM推理框架，通过将权重量化为仅有三种可能值（-1、0、+1），即1.58位精度，极大地压缩了模型体积，同时保持了与全精度模型相当的性能水平。

架构亮点

BitLinear层：专门设计的线性层，适配1.58位权重；
RoPE位置嵌入：保留Transformer高效的序列编码能力citeturn1search0；
ReLU²激活：更稳定的非线性变换，助力精度损失最小化；
SubLN规范化：简化层归一化，剔除冗余偏置。

性能爆炸：CPU逆袭GPU

极速推理

在x86架构CPU上，BitNet可实现2.37到6.17倍的推理加速；
在ARM架构CPU上，加速幅度达1.37倍到5.07倍。

极致能效

x86 CPU能耗降低71.9%–82.2%，ARM CPU能耗削减55.4%–70.0%，用更少电力输出更强算力；
2B参数模型仅需约400MB内存，与常规FP16模型的2GB相比，节省了80%以上资源。

本地化大模型：100B参数不再是梦

BitNet实现了在单核CPU上运行100B参数模型，每秒处理5–7个token，与人类阅读速度相当，让大模型脱离数据中心束缚，轻松部署在笔记本和嵌入式设备上。

最新动态速递

2025年4月14日：BitNet官方2B参数模型已在Hugging Face发布，立即可用；
2025年2月18日：发表新论文《Bitnet.cpp: Efficient Edge Inference for Ternary LLMs》，引入TL与I2_S两大核心技术，实现6.25倍超高加速，并开源代码；
2024年11月8日：发布BitNet a4.8，4位激活量化方案进一步提升推理速度和模型兼容性。

安装与入门指南

环境要求

Python ≥3.9、CMake ≥3.22、Clang ≥18；
推荐使用conda管理虚拟环境，轻松一键安装依赖。

https://github.com/microsoft/BitNet

（文：PyTorch研习社）

发表评论取消回复