极客说|Phi-4 模型的 4 位量化与 vLLM 高速推理
Phi-4 是微软最新发布的大型语言模型,参数量为140亿。本文详细介绍了其架构特点及训练策略,并展示了如何在本地环境中对其进行量化优化。
Phi-4 是微软最新发布的大型语言模型,参数量为140亿。本文详细介绍了其架构特点及训练策略,并展示了如何在本地环境中对其进行量化优化。
微软MatterGen模型登上Nature,利用生成式AI发现新材料,相比传统方法性能提升显著。该模型能从随机噪声开始逐步调整原子位置、元素类型和晶格结构,生成符合需求的新材料,有望加速高科技领域的材料研发。
微软发布的新材料生成模型MatterGen能够直接根据需求生成新材料,避免了传统试错实验。它使用扩散模型从随机结构开始调整原子位置、元素种类和周期晶格来生成新材料。该模型还可以根据多种属性条件进行条件生成,目前已开源用于研究和实际应用。
硅谷科技评论数据显示,微软、谷歌、Meta和亚马逊等公司正加速投资数十亿美元建设AI数据中心。微软2024年斥资800亿美元用于专门运行人工智能软件的数据中心,占其资本支出的大部分。
微软发布全新企业级AI助手Microsoft 365 Copilot Chat,支持AI Agent功能并集成在商业版中,通过实时监控库存水平、自动生成采购订单等方式提升供应链工作效率。Copilot Chat还提供聊天功能和文件处理能力,并内置数据保护系统。
英伟达最新一代AI芯片Blackwell部署数据中心时遭遇技术问题,导致多家客户推迟计划和削减订单。该问题包括服务器机架过热和芯片连接异常。微软等科技巨头原计划使用Blackwell芯片的项目受到影响。消息公布后,英伟达股价一度下跌超4.7%。