DiffMoE:动态Token选择助力扩散模型性能飞跃,快手&清华团队打造视觉生成新标杆!
本文介绍清华大学与快手可灵团队合作的DiffMoE研究,通过动态token选择和全局token池设计提升扩散模型效率。论文在ImageNet分类图像生成任务中仅用4.58亿参数即超越6.75亿参数的Dense-DiT-XL模型。
本文介绍清华大学与快手可灵团队合作的DiffMoE研究,通过动态token选择和全局token池设计提升扩散模型效率。论文在ImageNet分类图像生成任务中仅用4.58亿参数即超越6.75亿参数的Dense-DiT-XL模型。
灵御智能近日宣布获得千万级种子轮融资,由英诺天使基金领投。公司致力于打造具身智能的机器人产品,以实现上肢能力的提升为目标,并提出从L0到L4的人形机器人发展路径。
自变量机器人近日官宣完成A轮融资,金额高达数亿元。本轮融资由美团战投领投、美团龙珠跟投。其致力于研发具身智能通用大模型,提升机器人的操作能力。公司目前已累计获得超10亿融资,并拥有来自清华大学和国内外知名机构的资深团队支持。
国内具身智能企业灵御智能完成千万级种子轮融资,以打造实用化标杆为目标,依托清华团队技术积累打通机器人完整智能进化路径。公司推出低成本、高可靠性的数据采集及操作机器人原型机,并在工业、消费等领域应用推广。
MLNLP社区是国内外知名的机器学习与自然语言处理社区。该社区致力于促进学术界、产业界和爱好者的交流与进步,特别是初学者的成长。最新研究表明,通过信心注入和早停机制,可以显著减少模型的冗余推理步骤,提高准确性而不影响性能。
清华大学团队提出傅里叶位置编码(FoPE),通过鲁棒性强的位置编码克服Transformer在处理长文本时的周期性延拓限制,显著提升模型的长文本泛化能力。
谢赛宁十年前被NeurIPS拒收的论文《Deeply-Supervised Nets》(DSN)今年获AISTATS时间检验奖。该论文提出中间层监督思想,继承并发展了后续作品REPA和U-REPA,对计算机视觉领域产生了深远影响。
清华大学和上海人工智能实验室提出测试时强化学习(TTRL),通过在无标签数据上利用多数投票等方法估计奖励信号来提升大规模语言模型性能。