DeepSeek-V3 + SGLang: 推理优化 (v0.4.3.post2+sgl-kernel:0.0.3.post6) 下午2时 2025/04/09 作者 GiantPandaCV DeepSeek V3 SGLang 优化 继续我们的DeepSeek V3与SGLang集成的技术
在本地实现接近10倍的加速运行 Deepseek 上午8时 2025/02/20 作者 NLP工程化 KTransformers是提升Transformer体验的灵活框架,支持多GPU加速和本地部署优化,适用于24GB显存和382GB系统内存配置。