推理速度

1200行代码逆袭！DeepSeek工程师开源轻量级vLLM，吞吐量逼近原版

作者

Nano-vLLM 是一个由 DeepSeek AI 研究者俞星凯构建的轻量级 vLLM 实现，代码简化至 1200 行。其亮点包括快速离线推理、简洁易读的代码库以及优化套件等功能。与 vLLM 相比，Nano-vLLM 在输出 token 和时间上表现相近，但略逊于 vLLM 的吞吐量。