跳至内容
每时AI

每时AI

  • 资讯
  • 国际
  • 分享
  • 大模型
  • 学术
  • 开源
  • 机器人
  • 关于我们

SGLang

SGLang Team:在 96 个 H100 GPU 上部署具有 PD 分解和大规模专家并行性的 DeepSeek

2025年5月6日19时 作者 GiantPandaCV

25-05-05-large-scale-ep
DeepSeek 是一个广受欢迎的开源大型语言模型

分类 学术 标签 DeepEP、 DeepGEMM、 SGLang、 张量并行、 数据并行、 混合模型集成 发表评论

AMD ROCm™ AI开发者交流会——大模型推理与开源创新专场

2025年4月10日11时 作者 AI科技大本营

AMD将在上海举办ROCm开发者交流会,聚焦大模型推理、性能加速等主题,邀请技术专家分享经验并提供动手实验机会。

分类 分享 标签 AMD、 ROCm、 SGLang、 大模型推理、 开源社区、 技术大咖 发表评论

DeepSeek-V3 + SGLang: 推理优化 (v0.4.3.post2+sgl-kernel:0.0.3.post6)

2025年4月9日14时 作者 GiantPandaCV

DeepSeek V3 SGLang 优化
继续我们的DeepSeek V3与SGLang集成的技术

分类 学术 标签 LMSYS、 SGLang、 sglang团队、 优化技术、 协作、 深度学习 发表评论

200美金,人人可手搓QwQ,清华、蚂蚁开源极速RL框架AReaL-boba

2025年3月31日11时 作者 机器之心

蚂蚁技术研究院和清华大学交叉信息院联合发布训练速度最快最稳定的开源强化学习训练框架AReaL,显著提升了数学推理能力,并通过创新性数据蒸馏技术复现了32B模型训练。

分类 学术、 资讯 标签 7B模型、 AReaL、 SGLang、 xAI、 吴翼团队、 蚂蚁技术研究院 发表评论

SGLang 支持Flash Attention V3 Backend

2025年3月26日19时 作者 GiantPandaCV

lgorithm-in-cuda/tree/master/cuda-mode 。主要是LLM和cud

分类 学术 标签 CUDA Graph、 Flash Attention V3、 SGLang、 不同的 forward 实现模式、 初始化 Meta 信息、 实际的 CUDA Graph 捕获和重放 发表评论

当开源创新遇上推理革命:SGLang如何炼就DeepSeek最强开源推理引擎?

2025年3月6日23时 作者 机器之心

语言建模与推理能力,引爆了全球 AI 社区。与此同时,一个隐藏在超大规模模型身后的技术命题浮出水面:

分类 学术、 资讯 标签 OpenAI、 SGLang、 多模态、 社区支持、 自定义优化、 高性能 发表评论

一个使用 SGLang + SkyPilot 实现高吞吐量 DeepSeek-R1 服务的教程

2025年3月4日8时 作者 NLP工程化

使用 SGLang + SkyPilot 实现高吞吐量 DeepSeek-R1 服务的教程介绍分享。

分类 开源 标签 DeepSeek-R1、 SGLang、 SkyPilot 官方、 服务实现、 未提及、 高吞吐量 发表评论

SGLang DP MLA 特性解读

2025年2月14日14时 作者 GiantPandaCV

lgorithm-in-cuda 。
这里简要解析了一下SGLang v0.4版本中针对DeepSe

分类 学术 标签 DeepSeek、 Mixed-Length Attention、 MLA、 SGLang、 多节点、 数据并行 发表评论

SGLang:LLM推理框架

2025年2月9日8时 作者 NLP工程化

多个云平台推荐使用SGLang框架提供或教授部署DeepSeek的方法。相关资源和文档链接已提供。

分类 开源 标签 AMD、 Azure、 DeepSeek服务、 NVIDIA、 sgl-project、 SGLang 发表评论

SGLang的Expert Parallel特性解读

2025年1月12日14时 作者 GiantPandaCV

0x0. 前言
最近在SGlang仓库下做了一段时间的开发和学习,对SGLang的一些比较新的Fea

分类 学术 标签 All2All、 FalshInfer、 Group GEMM、 MoE、 SGLang、 Triton Kernel 发表评论
较新文章
← 上一页 页面1 页面2

AGI AI AI技术 Anthropic ChatGPT Claude DeepSeek DeepSeek-R1 DeepSeek R1 GitHub GPT-4o LLM Meta OpenAI Python Sam Altman 人工智能 人形机器人 具身智能 大型语言模型 大模型 大语言模型 字节跳动 工业机器人 开源 强化学习 微软 扩散模型 技术创新 智能体 木易 机器学习 深度学习 清华大学 生成式AI 用户体验 百度 腾讯 自然语言处理 英伟达 谷歌 阿里云 阿里巴巴 马斯克 黄仁勋

分类

  • 分享
  • 国际
  • 大模型
  • 学术
  • 开源
  • 机器人
  • 资讯
  • 皮衣换唐装,首次中文演讲,老黄亮相链博会展望物理AI,人形机器人各种火爆出圈儿
  • 黄仁勋最新演讲: AI下一波浪潮将是机器人系统
  • 阿斯麦Q2销售超预期,AI推动订单大增
  • 明星初创公司Anthropic推出专业金融AI服务
  • 突发!Cursor全面限制国内使用部分模型,非常彻底!

2025 年 7 月
一 二 三 四 五 六 日
 123456
78910111213
14151617181920
21222324252627
28293031  
« 6 月    

归档

  • 2025 年 7 月
  • 2025 年 6 月
  • 2025 年 5 月
  • 2025 年 4 月
  • 2025 年 3 月
  • 2025 年 2 月
  • 2025 年 1 月
  • 2024 年 12 月
  • 2024 年 11 月

AI新闻 | X平台 | APK反编译 | 京ICP备2024096144号 |
© 2025 每时AI • Built with GeneratePress
 下载我们的APP,AI秒送达!  立即下载
×