SGLang:LLM推理框架

各个云平台在自己提供DeepSeek服务或教用户如何部署DeepSeek时,基本都是推荐用SGLang这个框架:包括NVIDIA、AMD、Azure、字跳的火山引擎、Vultr等等。

参考文献:
[1] https://github.com/sgl-project/sglang
[2] https://docs.sglang.ai/
[3] https://lmsys.org/blog/2024-07-25-sglang-llama3/
[4] https://docs.google.com/document/d/1xEow4eIM152xNcRxqZz9VEcOiTQo8-CEuuQ5qTmkt-E/
[5] https://github.com/sgl-project/sgl-learning-materials?tab=readme-ov-file#slides
[6] https://docs.sglang.ai/


(文:NLP工程化)

欢迎分享

发表评论