质量无损,算力砍半!达摩院开源视觉生成新架构,出道即SOTA|ICLR 2025
达摩院在ICLR 2025提出了动态架构DyDiT,通过智能资源分配将DiT模型的推理算力削减51%,生成速度提升1.73倍,FID指标几乎无损,并且仅需3%的微调成本。
达摩院在ICLR 2025提出了动态架构DyDiT,通过智能资源分配将DiT模型的推理算力削减51%,生成速度提升1.73倍,FID指标几乎无损,并且仅需3%的微调成本。
UniCombine 是一种基于 DiT 的多条件可控生成框架,能够处理任意条件组合。它在多种多条件生成任务上达到了最先进的性能,并且构建了首个针对多条件组合式生成任务设计的数据集 SubjectSpatial200K。
香港科技大学开发的 AudioX 机器学习模型能够根据用户的个性化输入生成独一无二的音频和音乐作品,包括文本、视频、图像等多模态数据,具有强大的跨模态学习能力,并能处理复杂的音频生成任务如音乐补全、修复等。
近日,大连理工大学与莫纳什大学的研究团队提出VLIPP框架,通过引入物理规律提升视频生成的物理真实性。论文指出视频扩散模型在物理场景下表现不佳的原因,并提出两阶段方法,利用视觉语言模型预测运动路径,再用细粒度的视频扩散模型生成符合物理规则的视频。
录用结果揭晓,腾讯优图实验室共有22篇论文入选,内容涵盖深度伪造检测、自回归视觉生成、多模态大语言模
北京大学的研究人员提出了一种名为MotionReFit的新模型,它可以根据用户的文本指令生成逼真的人体动作。该模型通过引入MotionCutMix数据增强技术及带有动作协调器的自回归扩散模型来实现这一目标,支持空间和时间上的动作编辑,无需特定的身体部位规范。
U-Net 架构对齐到 ViT(Vision Transformer)特征空间
的新方法
U-REP
统一多模态模型的目标是整合深度理解与丰富的生成能力,MetaQueries采用‘token → [transformer] → [diffusion] → pixels’范式,通过可学习查询和冻结MLLM在保持性能的同时实现图像生成。
本文介绍了一种基于生成流网络的扩散模型奖励微调方法Nabla-GFlowNet,该方法能够在快速收敛的同时保持生成样本的多样性和先验特性。通过在Stable Diffusion上实验验证了其有效性。