FP8训练新范式:减少40%显存占用,训练速度提高1.4倍
近期研究提出COAT方法利用FP8量化技术,通过动态范围扩展和混合粒度精度流优化大型模型训练中的内存占用和加速速度,保持模型精度的同时显著减少显存使用并提升训练效率。
近期研究提出COAT方法利用FP8量化技术,通过动态范围扩展和混合粒度精度流优化大型模型训练中的内存占用和加速速度,保持模型精度的同时显著减少显存使用并提升训练效率。
威斯康星大学麦迪逊分校团队提出了一种使用强化学习对机器学习模型实施黑盒逃避攻击的方法,该方法能够有效生成对抗样本,且无需昂贵的梯度优化。研究发现,在CIFAR-10图像分类任务上,强化学习智能体在训练过程中提高了对抗样本的有效性和效率。
阿里开源发布新推理模型QwQ-32B,参数量为320亿。其性能可媲美6710亿参数的DeepSeek-R1满血版。千问团队通过大规模强化学习提升了模型的推理能力,在数学和编程任务上表现优异,并提供了API使用指南。
本文介绍了一种新的扩散策略ET-SEED,它结合了轨迹级SE(3)等变性扩散和高效的去噪策略,在少量示范数据下能够高效学习复杂的机器人操作技能,并且在不同物体姿态和场景下的泛化能力也得到了提升。
智源研究院联合开发的BGE-VL模型在多模态检索任务中取得最佳效果,通过大规模合成数据MegaPairs训练而成。该方法具备优异的可扩展性和卓越的数据质量优势。
2B 模型,以及全部训练数据、代码。仅需 12 台 H800 上 6 小时即可训练完成,从没有长思维