精度与通用性不可兼得，北大、华为理论证明低精度下Scaling Law难以实现
大模型量化通过降低精度来提高推理速度，但研究发现不同精度下大语言模型在基本数学任务上的表现显著下降。研究证明足够的精度是解决这些任务的重要前提，而量化会严重损害大模型的数学推理能力。
学术
NeurIPS 2024 多样任务真实数据，亚马逊提出在线购物领域评测基准Shopping MMLU
在线购物是现代生活中必不可少的组成部分。2023 年，在线购物销售额已经占到中国全部销售额的 46%
实测昆仑万维对话AI「Skyo」，会读诗、知晓雷军摆拍
文章介绍了昆仑万维开发的Skyo实时语音对话助手，它基于天工大模型4.0打造，具备快速响应、实时打断、情感化反应等多样化功能。Skyo还能够根据不同场景切换声音，并能念诗和评价新闻事件。文章指出随着互联网高质量数据减少及大型模型训练困难，多模态AI应用正成为趋势。
LLM也怕你妈叫你回家吃饭这种模糊请求，纽大提出指导LLM澄清问题
MLNLP社区致力于促进国内外自然语言处理领域内的学术交流与进步。该论文提出了一种新的标注方法，用于训练LLMs在多回合交互中询问澄清问题，显著提高了其在处理模糊请求时的性能。
NeurIPS 2024｜天津大学提出：面向模态缺失情形的提示学习方法
本文提出了一种新的提示学习方法，旨在解决多模态大模型在输入模态可能缺失时的问题。通过结合三种不同的提示向量策略（Correlated prompting, Dynamic prompting和Modal-common prompting），该方法能更有效地提升模型的鲁棒性和可扩展性，在多个数据集上验证了其有效性。