跳至内容
每时AI

每时AI

  • 资讯
  • 国际
  • 分享
  • 大模型
  • 学术
  • 开源
  • 机器人
  • 关于我们

MUDDFormer

ICML 2025 何恺明的“残差连接”被魔改,新架构给Transformer建了个“动态立交”,28亿参数打平69亿

2025年6月30日23时 作者 极市干货

对Transformer中的残差连接进行了创新性改造,仅增加极少的参数和计算量,就让28亿参数的模型

分类 学术 标签 MUDDFormer、 Tranformer、 Transformer、 技术专栏、 极市社区、 深度学习 发表评论

ICML 2025 打破残差连接瓶颈,彩云科技&北邮提出MUDDFormer架构让Transformer再进化!

2025年6月27日23时 作者 机器之心

,彩云科技CEO袁行远。
残差连接(residual connections)自何恺明在 2015

分类 学术、 资讯 标签 MUDDFormer、 Transformer架构、 上下文学习能力、 注意力激活比例、 自然语言处理、 计算效率 发表评论

2025年 AGI AI AI技术 Anthropic ChatGPT Claude DeepSeek DeepSeek-R1 DeepSeek R1 GitHub GPT-4o LLM Meta OpenAI Python Sam Altman 人工智能 人形机器人 具身智能 大型语言模型 大模型 大语言模型 字节跳动 工业机器人 开源 强化学习 微软 扩散模型 技术创新 智能体 木易 机器学习 深度学习 清华大学 生成式AI 用户体验 百度 腾讯 自然语言处理 英伟达 谷歌 阿里云 阿里巴巴 马斯克

分类

  • 分享
  • 国际
  • 大模型
  • 学术
  • 开源
  • 机器人
  • 资讯
  • commands.py中的函数解析5:clear_orphaned_file_records等
  • commands.py中的函数解析3:fix_app_site_missing等
  • commands.py中的函数解析2:convert_to_agent_apps等
  • commands.py中的函数解析1:reset_password等
  • 赶超DeepSeek、阿里Qwen!百度文心4.5系列模型正式开源,性能出色但领跑有点难

2025 年 7 月
一 二 三 四 五 六 日
 123456
78910111213
14151617181920
21222324252627
28293031  
« 6 月    

归档

  • 2025 年 6 月
  • 2025 年 5 月
  • 2025 年 4 月
  • 2025 年 3 月
  • 2025 年 2 月
  • 2025 年 1 月
  • 2024 年 12 月
  • 2024 年 11 月

AI新闻 | X平台 | APK反编译 | 京ICP备2024096144号 |
© 2025 每时AI • Built with GeneratePress
 下载我们的APP,AI秒送达!  立即下载
×