低精度只适用于未充分训练的LLM?腾讯提出LLM量化的scaling laws
腾讯 AI Lab 研究发现低比特量化仅在未充分训练的 LLM 上能取得与 fp16/bf16 相当的性能表现,提出了一套低比特量化的 scaling laws,并通过实验验证其普适性。
腾讯 AI Lab 研究发现低比特量化仅在未充分训练的 LLM 上能取得与 fp16/bf16 相当的性能表现,提出了一套低比特量化的 scaling laws,并通过实验验证其普适性。
2024年,人工智能领域迎来重大突破与创新。诺贝尔奖首次认可AI for Science;「百模大战」竞争激烈;多模态大模型推动国产AI实力提升;视频大模型赛道加速布局;多种应用涌现,催生新的创业机会。”AI中国”机器之心年度评选揭晓多项荣誉榜单。
本文介绍了一种名为GRAPE的新算法,用于改善视觉-语言-动作模型在机器人任务中的泛化能力。通过偏好对齐提升策略的灵活性和适应性,支持多种目标如安全性和效率。