跳至内容
每时AI

每时AI

  • 资讯
  • 国际
  • 分享
  • 大模型
  • 学术
  • 开源
  • 机器人
  • 关于我们

SGLang

DeepSeek-V3 + SGLang: 推理优化 (v0.4.3.post2+sgl-kernel:0.0.3.post6)

下午2时 2025/04/09 作者 GiantPandaCV

DeepSeek V3 SGLang 优化
继续我们的DeepSeek V3与SGLang集成的技术

分类 学术 标签 LMSYS、 SGLang、 sglang团队、 优化技术、 协作、 深度学习 发表评论

200美金,人人可手搓QwQ,清华、蚂蚁开源极速RL框架AReaL-boba

上午11时 2025/03/31 作者 机器之心

蚂蚁技术研究院和清华大学交叉信息院联合发布训练速度最快最稳定的开源强化学习训练框架AReaL,显著提升了数学推理能力,并通过创新性数据蒸馏技术复现了32B模型训练。

分类 学术、 资讯 标签 7B模型、 AReaL、 SGLang、 xAI、 吴翼团队、 蚂蚁技术研究院 发表评论

SGLang 支持Flash Attention V3 Backend

下午7时 2025/03/26 作者 GiantPandaCV

lgorithm-in-cuda/tree/master/cuda-mode 。主要是LLM和cud

分类 学术 标签 CUDA Graph、 Flash Attention V3、 SGLang、 不同的 forward 实现模式、 初始化 Meta 信息、 实际的 CUDA Graph 捕获和重放 发表评论

当开源创新遇上推理革命:SGLang如何炼就DeepSeek最强开源推理引擎?

下午11时 2025/03/06 作者 机器之心

语言建模与推理能力,引爆了全球 AI 社区。与此同时,一个隐藏在超大规模模型身后的技术命题浮出水面:

分类 学术、 资讯 标签 OpenAI、 SGLang、 多模态、 社区支持、 自定义优化、 高性能 发表评论

一个使用 SGLang + SkyPilot 实现高吞吐量 DeepSeek-R1 服务的教程

上午8时 2025/03/04 作者 NLP工程化

使用 SGLang + SkyPilot 实现高吞吐量 DeepSeek-R1 服务的教程介绍分享。

分类 开源 标签 DeepSeek-R1、 SGLang、 SkyPilot 官方、 服务实现、 未提及、 高吞吐量 发表评论

SGLang DP MLA 特性解读

下午2时 2025/02/14 作者 GiantPandaCV

lgorithm-in-cuda 。
这里简要解析了一下SGLang v0.4版本中针对DeepSe

分类 学术 标签 DeepSeek、 Mixed-Length Attention、 MLA、 SGLang、 多节点、 数据并行 发表评论

SGLang:LLM推理框架

上午8时 2025/02/09 作者 NLP工程化

多个云平台推荐使用SGLang框架提供或教授部署DeepSeek的方法。相关资源和文档链接已提供。

分类 开源 标签 AMD、 Azure、 DeepSeek服务、 NVIDIA、 sgl-project、 SGLang 发表评论

SGLang的Expert Parallel特性解读

下午2时 2025/01/12 作者 GiantPandaCV

0x0. 前言
最近在SGlang仓库下做了一段时间的开发和学习,对SGLang的一些比较新的Fea

分类 学术 标签 All2All、 FalshInfer、 Group GEMM、 MoE、 SGLang、 Triton Kernel 发表评论
较新文章
← 上一页 页面1 页面2

2025年 AGI AI AI技术 Anthropic ChatGPT Claude DeepSeek DeepSeek-R1 DeepSeek R1 GitHub GPT-4o LLM Manus Meta OpenAI Python Sam Altman 人工智能 人形机器人 具身智能 大型语言模型 大模型 大语言模型 字节跳动 开源 强化学习 微软 扩散模型 技术创新 智能体 木易 机器学习 深度学习 清华大学 生成式AI 用户体验 百度 腾讯 自然语言处理 英伟达 谷歌 阿里云 阿里巴巴 马斯克

近期文章

  • 78%主创跳槽!Llama 14名作者只剩3人,Meta最强开源模型团队大溃散引争议
  • 阿里云发布通义灵码 AI IDE,深度适配千问 3 大模型、新增编程智能体,可调用 3000+ MCP 服务
  • 新版DeepSeek R1你得这样用,太爽啦~
  • 工业级耐用之选!盈连砂带机:耐磨抗造,多材质打磨一“机”搞定
  • AI之父Hinton:想知道不是最聪明物种的感觉?去问鸡吧

分类

  • 分享
  • 国际
  • 大模型
  • 学术
  • 开源
  • 机器人
  • 资讯
2025 年 5 月
一 二 三 四 五 六 日
 1234
567891011
12131415161718
19202122232425
262728293031  
« 4 月    

归档

  • 2025 年 5 月
  • 2025 年 4 月
  • 2025 年 3 月
  • 2025 年 2 月
  • 2025 年 1 月
  • 2024 年 12 月
  • 2024 年 11 月

AI新闻 | X平台 | APK反编译 | 京ICP备2024096144号 |
© 2025 每时AI • Built with GeneratePress
 下载我们的APP,AI秒送达!  立即下载
×