字节开源了一款多主体视频模型!掩码黑科技解锁多主体丝滑控制!

字节跳动MAGREF项目通过掩码引导机制实现了连贯多主体视频生成,支持单人、多人及人物+物品组合。该框架采用像素级通道拼接和区域感知动态掩码技术,生成自然流畅的多主体视频。

AI「视觉图灵」时代来了!字节OmniHuman,一张图配上音频,就能直接生成视频

字节跳动推出的新技术OmniHuman能够利用单张图片和音频生成生动人物视频,支持任意大小的人物占比。OmniHuman采用多模态混合训练策略,从大规模数据中受益,解决了现有方法的局限性。