让DeepSeek模型变更强!SGLang团队将吞吐量提高5倍,API成本降到官方五分之一

SGLang团队在开源技术博客中介绍了如何优化DeepSeek模型,在96个H100 GPU上实现了显著性能提升。通过引入PD分解、TBO以及专家重新平衡等策略,提高了预填充和解码阶段的吞吐量,并减少了不平衡现象对性能的影响。

碾压OpenAI!谷歌最强模型加持Deep Research性能暴涨,还在酝酿一个AI大招

谷歌发布Gemini Advanced订阅服务升级版Deep Research功能,相比OpenAI同款功能评分高出两倍多。该功能可快速生成详细的研究报告,并支持多种语言和设备使用。

DeepSeek上新!V3-0324编码实力大涨直逼Claude 3.7,成最强开源非推理模型

DeepSeek团队发布升级模型DeepSeek-V3-0324,该模型在代码生成方面表现出色,价格仅为Claude 3.7 Sonnet的一小部分。开发者对其响应速度和资源占用优势表示赞赏,并认为它可能成为下一代推理模型R2的基础。