跳至内容
每时AI

每时AI

  • 资讯
  • 国际
  • 分享
  • 大模型
  • 学术
  • 开源
  • 机器人
  • 关于我们

推理框架

llm-d:Kubernetes原生高性能分布式LLM推理框架,助力大规模语言模型推理部署

2025年5月22日8时 作者 NLP工程化

Kubernetes原生高性能分布式LLM推理框架,提升性能、灵活部署和优化资源利用。相关技术参考及服务内容介绍。

分类 开源 标签 GitHub、 Kubernetes、 llm-d、 分布式语言模型、 官方网站、 推理框架 发表评论

在CPU上运行100B模型只需4MB内存!微软BitNet掀了英伟达的桌子!

2025年4月23日8时 作者 PyTorch研习社

微软发布BitNet推理框架,通过三值量化将LLM模型大小瘦身至原来的1/16,在CPU上实现2.37到6.17倍加速,并节能82.2%,甚至可在普通笔记本CPU上运行100B参数级大模型。

分类 分享 标签 CPU加速、 大模型处理速度、 微软、 推理框架、 节能百分比、 量化技术 发表评论

AGI AI AI技术 Anthropic ChatGPT Claude DeepSeek DeepSeek-R1 DeepSeek R1 GitHub Google GPT-4o LLM Meta OpenAI Python Sam Altman 人工智能 人形机器人 具身智能 大型语言模型 大模型 大语言模型 字节跳动 工业机器人 开源 强化学习 微软 扩散模型 技术创新 智能体 木易 机器学习 深度学习 清华大学 生成式AI 用户体验 百度 腾讯 自然语言处理 英伟达 谷歌 阿里云 阿里巴巴 马斯克

分类

  • 分享
  • 国际
  • 大模型
  • 学术
  • 开源
  • 机器人
  • 资讯
  • 马斯克:Grok AI最迟下周“上车”
  • 训练了P站的大模型,升级了
  • 这场顶级科学论坛看好量子计算、人工智能、室温超导、可控核聚变
  • 研究显示:AI 并没有提升编程效率,它反而让你变慢了19%
  • 让投资决策更智能!AI赋能的股票分析神器

2025 年 7 月
一 二 三 四 五 六 日
 123456
78910111213
14151617181920
21222324252627
28293031  
« 6 月    

归档

  • 2025 年 7 月
  • 2025 年 6 月
  • 2025 年 5 月
  • 2025 年 4 月
  • 2025 年 3 月
  • 2025 年 2 月
  • 2025 年 1 月
  • 2024 年 12 月
  • 2024 年 11 月

AI新闻 | X平台 | APK反编译 | 京ICP备2024096144号 |
© 2025 每时AI • Built with GeneratePress
 下载我们的APP,AI秒送达!  立即下载
×