尹良升

SGLang 是一个备受瞩目的开源推理引擎，在 GitHub 上已有近 15K 星星和月均 10 万次下载。尹良升分享了 SGLang 的关键技术和优化，包括 PD 分离、推测解码和 KV 缓存落盘等技术，帮助平衡性能、资源利用率和成本，并强调开源社区对于推动技术演进和应用落地的重要性。