DeepSeek V3 GGUF 2-bit 出乎意料地运行成功，同时支持 BF16 和其它量化方式
上传了DeepSeek V3的GGUF版本及其反量化BF16版本，提供运行最低硬件要求和使用示例链接。
模型量化
喝点VC｜a16z：进入大模型通胀时代—推理成本3年内下降1000倍
文章概述了大语言模型（LLMs）推理成本随时间迅速下降的趋势，将这一现象称为LLM通货膨胀。据分析显示，性能相近的LLMs价格每年下降10倍。尽管当前趋势可能仍会变化，但作者认为人工智能革命将继续带来重大进展，并且可能会开启新的用例。