大模型训练或无需“纯净数据”!北大团队新研究:随机噪声影响有限,新方法让模型更抗噪
北大团队研究发现,在训练数据中加入随机噪音并不会严重影响语言模型的性能。即使高达20%的数据被污染,模型的预测损失仅上升约1%,并提出局部梯度匹配方法进一步提升其鲁棒性。
北大团队研究发现,在训练数据中加入随机噪音并不会严重影响语言模型的性能。即使高达20%的数据被污染,模型的预测损失仅上升约1%,并提出局部梯度匹配方法进一步提升其鲁棒性。
近日英伟达联合北京大学和Hedra Inc开源了Magic 1-For-1 AI视频生成模型,其特点是生成速度快且开源,并通过量化技术将模型体积从32GB压缩至16GB。该模型支持多模态输入、扩散步骤蒸馏等技术。缺点在于高速运动场景的处理能力有限,以及视频分辨率较低。
北大课题组通过将语言数据集和GPT模型展开为蒙特卡洛语言树(Data-Tree 和 GPT-Tree),揭示了现有大模型拟合训练数据的本质是寻求一种更有效的近似方法。同时,作者提出大模型中的推理过程可能是概率模式匹配而非形式推理。
香港中文大学、北京大学和上海AI Lab的研究者提出了一种结合思维链推理的新方法来提升自回归图像生成的质量和文本一致性,显著提高了图像生成的性能。
北大团队提出VARGPT模型,通过单一自回归框架实现视觉理解与生成。其创新设计包括引入视觉解码器、多尺度图像分词器和特征投影器,并采用三阶段训练策略优化性能。
北大师生团队提出OmniManip架构,通过双闭环系统实现VLM到机器人的泛化操作。关键设计包括基于物体的交互基元、循环规划和执行,显著提升性能,适用于多种真实任务。
本文介绍了多模态领域基于Next Token Prediction的最新进展,包括Tokenization技术、模型架构设计、训练方法与推理策略等,并提出了四个亟待解决的挑战。
北大数学系校友胡懿娟回国后将继续专注于统计学、微生物学和遗传学的交叉领域。她毕业于北京大学,并在美国攻读博士学位。目前,她在北京大学北京国际数学研究中心担任教授。胡懿娟认为开放自由的工作环境对她的研究和人才培养都有益处。