最新W4A4KV4全量化框架,单卡A100大模型推理速度飙升
COMET框架在ASPLOS 2025上发布,实现了权重、激活和KV缓存全4比特压缩下的高性能推理,仅造成0.32的困惑度微增,并实现端到端推理加速2.02倍。
COMET框架在ASPLOS 2025上发布,实现了权重、激活和KV缓存全4比特压缩下的高性能推理,仅造成0.32的困惑度微增,并实现端到端推理加速2.02倍。
SpatialVLA模型通过Ego3D位置编码和自适应动作网格等技术提升了机器人在复杂环境中的空间理解能力和操作泛化性能,实现零样本泛化控制、高效适应新场景等功能。
本文介绍了上海科技大学 YesAI Lab 在 NeurIPS 2024 发表的工作《Federated Learning from Vision-Language Foundation Models: Theoretical Analysis and Method》。研究针对视觉-语言模型在联邦学习中的提示词微调提出理论分析框架,引入特征动力学理论并设计了PromptFolio机制,在平衡全局与个性化提示词的同时提升性能。
该工作提出了一种基于Q变分损失的扩散策略优化方法(QVPO),解决了扩散模型与在线强化学习结合的问题,提高了样本效率和最终表现。