SGLang 推理引擎的技术要点与部署实践|AICon 北京站前瞻
SGLang 是一个备受瞩目的开源推理引擎,在 GitHub 上已有近 15K 星星和月均 10 万次下载。尹良升分享了 SGLang 的关键技术和优化,包括 PD 分离、推测解码和 KV 缓存落盘等技术,帮助平衡性能、资源利用率和成本,并强调开源社区对于推动技术演进和应用落地的重要性。
SGLang 是一个备受瞩目的开源推理引擎,在 GitHub 上已有近 15K 星星和月均 10 万次下载。尹良升分享了 SGLang 的关键技术和优化,包括 PD 分离、推测解码和 KV 缓存落盘等技术,帮助平衡性能、资源利用率和成本,并强调开源社区对于推动技术演进和应用落地的重要性。
东南大学联合多所研究机构提出了KRIS-Bench,一个评估图像编辑模型知识结构的基准。该基准从事实性、概念性和程序性知识三个层面测试编辑能力,并包含1267对图像指令样本,覆盖初级到高级任务难度。
Figure创始人发布60分钟未剪辑版机器人进厂视频,展示了其在物流分拣中的灵活处理能力。通过高质量数据集扩展和视觉电机策略改进,机器人的工作效率显著提高,吞吐量提升了58%,条形码成功率从88.2%提升至94.4%。
新智元报道
编辑:定慧
【新智元导读】
Transformer已满8岁,革命性论文《Attention Is All You Need》被引超18万次,掀起生成式AI革命。
Transformer催生了ChatGPT、Gemini、Claude等诸多前沿产品。它让人类真正跨入了生成式AI时代。
这篇论文的被引次数已经达到了184376!
尽管当年未获「Attention」,但如今Transformer影响仍在继续。
谷歌开始收回对大模型开放使用的「善意」。
人人都爱Transformer,成为严肃学界乐此不疲的玩梗素材。
Linear 本周宣布完成8200万美元C轮融资,估值达12.5亿美元。该公司专注于帮助企业开发者管理产品开发流程和缺陷分类,并利用AI辅助编程。