超越可灵,字节Seedance1.0 pro登上AI视频王座,多镜头叙事,自然切换

作者|沐风

来源AI先锋官


就在昨天上午的火山引擎Force原动力大会上,字节一下推出了一堆新玩意。

如:豆包大模型1.6、豆包视频生成模型Seedance 1.0 pro、豆包·语音播客模型,还升级了Agent开发平台等AI云原生服务。

但其中最令小编印象深刻的非视频生成模型Seedance 1.0 pro莫属。

它不仅是国内第一个拥有“多镜头叙事能力”的视频生成模型,在评测榜单Artificial Analysis上,Seedance 1.0 pro在文生视频、图生视频两项任务上均排名首位,超越Veo3、可灵2.0等多模态模型。



据官方介绍,Seedance 1.0 pro除“多镜头叙事能力”外,还具备以下特色:

  • 画面与主体动态效果更自然,能够流畅地生成大幅度的运动;
  • 无论是细微的表情还是动态场景,均能保持高水平的稳定性与物理真实感;
  • 在镜头切换与时空变换中,能保持人物场景一致性;
  • 在多主体动作和复杂运镜提示词的表现上更好;
  • 能准确响应多样的风格指令,以支持各类创意需求。

现在,所有用户均可以在即梦AI中使用它。

即梦AI中的“视频3.0 pro”就是Seedance 1.0 pro,而“视频3.0”,则是Seedance 1.0 mini。

接下来,小编就通过图生视频、风格化表达、多镜头叙事能力、和运动效果这4个维度对Seedance 1.0 pro和可灵AI进行对比测试,看看它到底为何被称为AI视频大模型的新王。

多镜头叙事能力

我们先来看看它的看家本领到底如何。


提示词:


分镜一: 一个穿戴黑色战术服和战术头盔的人,手持步枪,在酒店的走廊里高速奔跑。镜头以与他同样的速度进行横向跟拍,营造出紧张的急迫感。 


分镜二: 镜头切换到一个固定的机位,镜头面对电梯门前。奔跑者冲入画面,停在电梯门前,他用手反复、快速地按着电梯按钮,神情紧张。


分镜三: 切换到电梯内部的视角,电梯门缓缓打开,门外的人冲进电梯,他一进入电梯就立刻转身面向门口背对镜头,电梯门随即开始关闭,切断了外部的视野。


Seedance 1.0 Pro

可灵AI

啊这……确实有点为难可灵了,可以看出它确实想努力的呈现我想要的效果,但毕竟它还不具备分镜能力,不过先容小编不厚道的笑一会(哈哈哈哈),从墙中穿出的人…徒手扒开电梯门….哈哈哈。

我们再来说说Seedance 1.0 Pro,它在前两个分镜做的都很不错,但第三个分镜很明显看到它在人进入电梯时切了镜,但效果并没有做出提示词中的效果,也就是电梯内部的视角。

另外,从生成速度上来说,Seedance 1.0 Pro要比可灵更快。

再来一个。


提示词:


分镜一: 在一条笔直的赛道上,一辆拉力赛车面向镜头驶来。

分镜二: 切至车内,镜头从侧方拍摄,一位赛车手专注的驾驶赛车。

分镜三: 镜头再回到赛道上方,赛车背对着镜头向正前方驶去,进入弯道。


Seedance 1.0 Pro

可灵AI

嚯,可以看到,这次Seedance 1.0 Pro很好地实现了三个镜头的自然切换,呈现效果:一级棒!

这次可灵居然在最后也破天荒的整了一个分镜,虽然效果不及Seedance 1.0 Pro,但是也给了小编一个惊喜。

小编提示词建议:要想更好的达到你想要的效果时,大家可以像小编一样将分镜一二三在提示词中标注清晰,或者在提示词中标注出“镜头切换”等明显触发词,这样在它生成的视频就会在相应的位置上直接实现切镜头。

图生视频

原图


提示词:


图片中的女生伸出手对着镜头向后倒着跑,露出开心的笑容



Seedance 1.0 Pro

可灵AI

Seedance 1.0 Pro生成的视频虽然与小编心中所想还是有些出入,跑步姿势也有些诡异,但按照提示词来看也没毛病。

反观可灵AI,视频中的女生转身就跑了,完全没按照提示词走啊,小编只想问一句:“还回来吃饭吗?”

原图


提示词:


地铁里,玩偶熊靠在座位上抬起头注视镜头,其他人在它面前走动,人影动态模糊


Seedance 1.0 Pro

可灵AI

Seedance 1.0 Pro里的玩偶熊要比可灵AI里的抬头幅度要大,并且,真正让人感觉它在注视屏幕的是Seedance 1.0 Pro。

不难看出,在语义理解和遵循提示词内容上,Seedance 1.0 Pro显然更要比可灵AI强不少。

风格化表达


提示词:


动漫风格,双手不断的在水中挣扎。特写,男主恐惧的双眼。



Seedance 1.0 Pro

可灵AI

动漫风格Seedance 1.0 Pro没什么问题,可灵依旧不听话,但是小编想悄悄提醒一下可灵,男主好像有点“死”了,挣扎呢?!


提示词:


像素风格,皮卡丘释放十万伏特



Seedance 1.0 Pro

可灵AI

小编已经怀疑人生了,小编使用它俩生成不下10个像素风的视视频,都未能成功,上方视频属于是矮子拔高个了……

运动效果


提示词:


一位运动员在篮球场上高高跃起,完成扣篮动作,然后稳稳落地,动作流畅有力。



Seedance 1.0 Pro

可灵AI

Seedance 1.0 Pro在人物动作的控制上把握得还不错,只不过人物动作还是有些僵硬。

但到可灵这,说好的扣篮变成了投篮,小编还要强调一点,小编用的还是2.1大师版!100积分一次,亏麻了。

测试到这里就结束了,相比之下,Seedance 1.0 Pro被称为AI视频大模型的“新王”也是非常合理。

可以说,Seedance 1.0 pro在角色动作、运镜能力、风格一致性、语义理解上都很强悍,另外生成速度是真的快。

不过,必须承认,Seedance 1.0 Pro还未能完全解决所有AI视频生成中的“老问题”:在长镜头中,人物或物体仍偶有闪崩,风格间的转场偶尔不够自然等等。

俗话说,乱世出英雄,在越来越卷的AI视频领域,Seedance 1.0 pro可以霸榜多久呢?让我们拭目以待。

 

(文:AI先锋官)

发表评论

×

下载每时AI手机APP

 

和大家一起交流AI最新资讯!

立即前往