好活!字节,南加大,斯坦福等新开源的小人跳舞X-Dyna,人脸、背景都生动起来了
人像视频生成领域的一个新进展,X-Dyna 使用轻量跨视频帧的注意力模块、人脸局部控制模块和人物肢体运动控制模块来实现精准的人物肢体动作及面部表情迁移,并保持自然背景的真实性。
人像视频生成领域的一个新进展,X-Dyna 使用轻量跨视频帧的注意力模块、人脸局部控制模块和人物肢体运动控制模块来实现精准的人物肢体动作及面部表情迁移,并保持自然背景的真实性。
字节跳动豆包团队提出UltraMem架构,通过分层动态内存结构、Tucker分解检索和隐式参数扩展三项创新突破MoE架构的瓶颈,推理成本降幅最高83%,速度提升6倍,入选ICLR 2025。
字节跳动开源VideoWorld视频生成模型,无需语言模型即可学习时空动态规律,降低技术门槛,具有广泛应用前景。但存在抽象概念建模困难、算力需求高等挑战。
VividTalk是南京大学、阿里巴巴、字节跳动和南开大学联合开发的人工智能技术项目,通过音频驱动生成逼真的说话头像视频。该项目采用先进的3D混合先验技术和双分支运动-VAE(变分自编码器)来实现高质量的视觉效果和自然同步对话。
INFP是字节跳动研发的一种全新的音频驱动交互式头部生成框架,它能根据双轨对话音频实时生成动态虚拟人物头像,支持多语言、唱歌模式和多种场景。研究显示其在音频-唇同步性、身份保留和动作多样性等方面表现优异。
Video Depth Anything 工作解决了单目深度估计在视频领域的时序一致性问题,融合时空头、时域一致性损失函数和关键帧推理策略,实现精度、速度及稳定性三者的平衡。
字节跳动开源UI-TARS模型,通过纯视觉驱动和端到端架构实现高效GUI自动化操作,支持多种平台,已在GitHub上发布多个版本供开发者试用。