12节点集群

SGLang团队在开源技术博客中介绍了如何优化DeepSeek模型，在96个H100 GPU上实现了显著性能提升。通过引入PD分解、TBO以及专家重新平衡等策略，提高了预填充和解码阶段的吞吐量，并减少了不平衡现象对性能的影响。