轨迹可控视频生成新范式,复旦微软破解视频生成难题,精准控制任意物体运动

MagicMotion提出了一种新的图像到视频生成框架,能够在指定的轨迹条件下精确控制物体运动。该方法构建了大规模的轨迹数据集,并引入了隐分割损失以提高对象形状感知能力。实验结果显示,MagicMotion在多种指标上优于现有方法,展示了卓越的性能。