vLLM
刚刚，DeepSeek公布了推理引擎开源路径，OpenAI也将开始连续一周发布
DeepSeek 发布文档宣布将开源自己的内部推理引擎，并与开源社区建立更广泛的合作。文档提到将与现有的开源项目合作，包括 SGLang 和 vLLM 项目。网友猜测 OpenAI 可能会发布多种模型和智能体产品。
在线教程丨单卡A6000轻松部署Gemma 3，精准识别黄仁勋演讲实拍
HyperAI超神经上线了使用vLLM部署Gemma-3-27B-IT教程，该模型支持文本和图像输入，适用于问答、摘要和推理等多种任务。
DeepSeek-R1推理本地跑，7GB GPU体验啊哈时刻？GRPO内存暴降，GitHub超2万星
sloth近期更新，将GRPO训练的内存使用减少了80%！只需7GB VRAM，本地就能体验AI「啊
4 种方法在本地部署蒸馏版的DeepSeek-R1
本文介绍了四种让DeepSeek-R1等本地运行大型语言模型（LLM）的方法：Ollama、LM Studio、vLLM和LlamaCPP。Ollama简单易用；LM Studio提供图形化界面方便切换模型；vLLM追求高性能且兼容OpenAI API；LlamaCPP跨平台且高效，适合用户自定义设置。无论哪种方式，都能让用户拥有强大的本地LLM助手。
vLLM 2024 年度回顾与 2025 展望：从专业引擎向开放平台迈进
vLLM 在2024年显著增长，GitHub星标数、贡献者数量和下载量均大幅增加，支持了亚马逊Rufus等大型产品。社区建设方面，建立了包含15位全职贡献者的多元化开源生态，并实现了对多种主流模型的支持。
vLLM 获十倍增长！2025目标：单卡吊打GPT-4o
小小vLLM在2024年下半年部署GPU使用时长增长10倍。它在GitHub上的星标数量、贡献者数量、月下载量分别增长了2.3倍、3.8倍和4.5倍，支持多种模型架构及硬件平台。计划实现单GPU运行GPT-4级别模型，并将量化、前缀缓存等功能标配。