我与vLLM的2024:清华大佬的vLLM开发之路 下午2时 2024/12/30 作者 Datawhale Datawhale推荐 作者:游凯超,清华软院博士研究生 楔子 我与 vLLM 的缘分,还得从五年前
实测最新端侧全模态大模型Megrez-3B-Omni 上午8时 2024/12/19 作者 极市干货 ↑ 点击 蓝字 关注极市平台 作者丨刘聪NLP 来源丨刘聪NLP 编辑丨极市平台 极市导读 本文通过
首个 vLLM 中文文档上线!最新版本吞吐量再提高 2.7 倍,延迟减少 5 倍,让大语言模型推理更快速! 上午11时 2024/12/03 作者 HyperAI超神经 作者:神经星星 编辑: 李宝珠 由 HyperAI超神经社区志愿者共同翻译校对的 vLLM 中文文档