揭秘老黄演讲中关键技术:PD分离!UCSD华人团队力作,LLM吞吐量跃升4倍 下午4时 2025/03/19 作者 新智元 CSD全华人团队力作,创新性地提出预填充-解码分离技术。在严格的延迟约束下,相比现有最先进的服务系统
PyTorch 原生FP8训练进展 下午10时 2025/01/08 作者 GiantPandaCV PyTorch通过FSDP2、DTensor和torchao实现Float8训练提升吞吐量50%,展示了Float8在不同模型规模上的有效性,并进行了模型质量和评估基准验证。