Scaling Law不是唯一视角!清华刘知远团队提出大模型“密度定律”:模型能力密度100天翻番
清华NLP实验室提出大模型的密度定律,表示模型能力随时间呈指数级增长。研究发现大模型的有效参数量与实际参数量之比(能力密度)持续增加,并且AI的电力、算力和智力也遵循类似的快速增长趋势。
清华NLP实验室提出大模型的密度定律,表示模型能力随时间呈指数级增长。研究发现大模型的有效参数量与实际参数量之比(能力密度)持续增加,并且AI的电力、算力和智力也遵循类似的快速增长趋势。
清华大学刘知远教授团队提出大模型密度定律,指出模型能力随时间呈指数级增长,每3.3个月翻一倍。该定律揭示了AI时代电力、算力与智力都在快速增长的趋势,并可能推动端侧智能的发展。
清华大学与面壁智能团队提出Delta Compression技术,通过存储主干模型与任务专用模型之间的参数差值显著降低模型对显卡的存储需求。混合精度压缩方法Delta-CoMe进一步提升了模型推理效率和灵活性,支持多达50个7B模型加载在一块80G A100 GPU上,几乎不损失任务性能。
清华大学智能产业研究院(AIR)与地瓜机器人联合发布RDK UniBots具身智能科教平台,支持从幼儿园到大学的教育需求。该平台以统一技术架构为基础,涵盖硬件和软件解决方案,并采用分层技术架构打通开发链路。
清华大学提出DiffGS生成式模型,实现无预处理三维高斯生成,支持多种任务如图生3DGS、文生3DGS等。该模型利用函数化方法表示三维高斯,并通过扩散生成式模型进行训练和生成。
UCSD和清华的研究团队提出了一种方法,通过外部科学工具提高AI在解决复杂问题时的决策准确率。该研究展示了训练模型在自定义数据集上显著优于基准模型,并且在不同难度问题上的工具使用表现最佳。
近期清华大学提出的新一代主动 Agent(ProActive Agent)交互范式,让AI从被动执行指令变为具备主动观察和判断环境、预见用户需求的能力。该技术已在行程安排、文件管理等领域实现应用,并通过数据集验证了其有效性。
月之暗面Kimi联合清华大学等机构开源大模型推理架构Mooncake,采用分阶段方式逐步实现高性能KVCache多级缓存的开源。该架构提升了Kimi用户体验,降低了成本,并为处理长文本和高并发需求提供了解决方案。
清华大学联合面壁智能团队提出新一代主动 Agent 交互范式,让 AI 成为具有’主观能动性’的智能助手。相比传统被动式 Agent,主动 Agent 能够根据上下文主动帮助用户。
清华大学魏朝晖团队发现噪声可导致量子优势突然消失的现象,并首次将其发表于Science Advances。研究揭示了量子信息处理中噪声对量子计算性能的显著影响,为量子纠错机制的应用提供了指导。