2025年如何用AI“拍”电影?我们扒了10部口碑佳作的幕后制作流程

整理 | 石濑
编辑 | 卷毛

AI没有让人人成为导演,但它让想成为导演的人有了造梦的工具。

围绕AI视频生成这门新技术,新的影像实验和探索正在发生。一个标志性的变化是,有“AI奥斯卡”之称的Runway人工智能电影节(AIFF)2024年参赛作品数量从300增至3000,实现了10倍增长。


除此之外,我们还可以看到AI视频的创作热情,从Runway这家头部创企烧到了知名电影机构、全球顶尖电影学府,乃至国内包括快手、抖音、B站在内的各大互联网平台。过去一年如雨后春笋般出现的AI电影节、AI短片竞赛,共同勾勒出AI在视频领域落地应用的轮廓。

正值年终,“AI新榜”以各大AI电影竞赛获奖短片为主要参考维度,并结合国内外AIGC创作者社区口碑,整理盘点了10部AI短片及其幕后制作过程。
其中多部创作细节未曾完整公开过的短片,我们有幸与相关创作者进行了对话。他们之中,有的没有任何传统影视制作经验;有的一年下来把AI短片制作从副业快干成了主业;有的还只是数字媒体专业在读的学生。

这些一线玩家们沉淀下来的创作经验,为2024年AI视频的飞速发展画下句点的同时,也为AI视频新一年的探索和发展锚定了起点。

AI短片如何做到没有“AI味”?它打了个样
作品:《Get Me Out》
创作者:Daniel Antebi
获奖/口碑情况:Runway AIFF 第二届金奖

《Get Me Out》是一部结合真人实拍和AI特效的超现实短片,被Runway第二届人工智能电影节评为“使用AI技术表达人物内心情感的范例”

影片讲述了美国亚裔青年Aka与“第二个自己”进行搏斗并试图逃离一座房子的故事。制作团队主要使用了三种AI工具:Luma AI用于重现和捕捉3D环境;Runway视频转视频功能(V2V)用于增强视觉效果;ComfyUI则用于将扮演“第二个自己”的演员形象进行转绘,去除皮肤纹理,仅展示肌肉线条,象征主角与内心自我的斗争。

通过最新的AI视频生成技术,《Get Me Out》以既富创意又低成本的方式探讨了美国二代移民的身份认同问题,以及更广泛的青少年心理健康议题。

程序员用AI“拍”了一个黑色犯罪故事
作品:《鬼饮食》
创作者:JimHuiHui
获奖/口碑情况:B站AI影像扶持计划“奇点剧场”;Independent Shorts Awards(洛杉矶独立短片奖)最佳动画短片金奖

《鬼饮食》以“叙事性强”的特点在国内外AI视频创作圈备受好评。它是一部黑色(Noir)动画短片,讲述了中国西南县城青年徐夏因父亲重病而在道德和法律边缘挣扎的故事。

短片创作者“JimHuiHui”在美国从事游戏UI程序设计,《鬼饮食》是其出于自身创作兴趣,业余时间花费近3个月、用242个AIGC镜头制作而成。除了画面使用了AI工具外,其余制作环节均由人工完成。

“JimHuiHui”告诉“AI新榜”,他没有任何影视专业相关的工作或学习背景,使用的工具包括图像生成Midjourney;视频生成可灵、Pika、PixVerse和Runway;视频编辑CapCut(剪映海外版)等。

重要故事场景:火锅店外观设计

在他看来,AI生成画面的不稳定,现阶段的一个解决方案是通过分镜设计和剪辑来调整。“去年9月,AI生成的素材时长3到5秒,去除瑕疵后,平均有效长度仅1到2秒。为了把它们剪得有意思,才选择了快速剪辑这样的剪辑风格,保证每个画面的信息密度足够,不会让观众觉得无聊。”在一些镜头处理上,“JimHuiHui”还会在文生图阶段就借助AE分层动画、Photoshop添加中文字等方式,增加静态画面信息密度,才成就了这部细节满满的诚意之作。



无法拥抱的AI恋人

作品:《给我一个明天的拥抱》
制作团队:柳逸轩/罗梓竹/张荣宇/严梦彤
获奖/口碑情况:北影节新艺术人才计划数字媒体短片特别荣誉;中欧青年电影节最佳AI短片

本片段为预告

完整短片正在深圳COOBBY线下展映


4位中央美术学院数媒专业的学生一起制作了这部短片。2024年,ChatGPT Dan模式在互联网上爆火,很多年轻人和AI谈起了恋爱,并且会在网上发布视频展示和AI恋爱的日常。他们以这些视频为灵感,制作了这部讲述从AI视角“看”人类恋人的短片。

短片制作融合了部分真人实拍与AI工具的运用:ChatGPT生成对话文本;Luma AI模拟AI视角(3D捕捉);场景搭建与渲染环节通过Tripo AI生成了一些道具模型;剪辑阶段用Midjourney生成了模拟AI加载场景的转场序列帧。全片仅有女主在视频通话里的镜头为实拍。
场景里的一些小道具(如桌子上的蛋糕)就是Tripo生成的,呈现AI恋人的回忆

在主创柳逸轩看来,过去一年不论是图像生成、视频生成、还是三维生成技术都有了质的飞跃,但与此同时也有无数没有灵魂的AI电子垃圾被生产出来。从年初Sora发布引发影视行业从业者会被AI替代的讨论,一年过去了,AI对创作者而言依然只是一个工具,对创作而言最重要的依然是作品的内容。


当AI遇上《山海经》,10人小团队“肝”出爆款玄幻短剧

作品:《山海奇镜之劈波斩浪》

创作者:“闲人一坤”

获奖/口碑情况:快手星芒短剧暑期档精选剧集、全网话题曝光量超4.3亿

全集可在快手App搜索观看


《山海奇镜之劈波斩浪》是国内首部AIGC原创奇幻微短剧。作品以《山海经》为创作灵感,讲述了一位少年为救母亲历经劫难,最终与上古神兽展开殊死搏斗的冒险故事,由快手可灵和AI影视制作人兼创作者“闲人一坤”合作打造。

背后工作流为:使用Midjourney生成初步的图片素材,然后将这些图片输入到PixVerse或可灵等图生视频模型中,生成预告片和正片素材。制作团队仅有10人,花了大约10天完成制作,其中不少动效镜头可与传统影视制作的特效大片相媲美

水神共工破石而出

实际上,在《山海奇镜之劈波斩浪》正式面世之前,“闲人一坤”于2024年1月就推出了相关预告片《山海奇镜》,当时在国内AI圈引起了不小的讨论,并与《山海奇镜之劈波斩浪》一同被业界视为AI颠覆传统影视特效制作的典型案例

相关阅读:《<山海奇镜>全网刷屏背后:一个传统影视人要做一家AI原生公司 | AI新榜对话》


传统2D+3D动画辅助,给所有女性写一封影像情书

作品:《致亲爱的自己》
导演:童画
AI创作:陈刘芳/周帝/海辛/Simon阿文
获奖/口碑情况:首届威尼斯AI生成短片国际电影节第一名;第十四届北京国际电影节AIGC电影短片单元最佳影片奖;入围地拉那国际电影节

2024年AI如何融入传统动画制作的一个突出例子是《致亲爱的自己》。这部AI生成的动画短片以女性成长为主题,讲述了一个女孩如何从内心的力量中发现自我,学会成长、爱自己和爱他人的故事。

主创团队成员大多来自中国传媒大学,短片制作上使用了ComfyUI、ControlNet、AnimateDiff等工具,训练了多个LoRA模型,包括风格LoRA和角色形象LoRA,并通过DreamBooth进行SDXL大模型微调。

此外,团队利用Midjourney生成了300多张风格数据集,参考了多种美术风格,最终形成了片子独特的蓝色基调风格。为了探索二维动画、三维动画与AI技术的融合,短片中的部分场景镜头还用到了C4D、Blender、AE以及传统动画制作的手绘技术,最后交由AI完成画面转绘。其中AI不仅能够提效,还在画面上实现了类似补帧和完善质感的效果。

二维转绘前和转绘后效果对比

游戏特效师用AI打开二次元动漫创作的大门
作品:《格式化》
创作者:柔树
获奖/口碑情况:即梦AI未来影像计划大众选择奖

《格式化》在即梦AI与剪映联合举办的AI短片挑战赛中获得大众选择奖。短片讲述了一位歌手机械人因记忆卡被格式化,在梦中逐渐失去记忆的过程。幕后创作者“柔树”于2024年2月以独立创作者的身份进入AIGC领域,此前他从事游戏特效工作。


《格式化》是他在2024年上半年制作的,核心工作流为:Midjourney+即梦AI+AE。柔树向我们介绍,他一直采用AI与AE结合的方式创作:AI生成素材,再通过AE编辑整合,将片段组合成完整作品。他最常用的AI工具是Midjourney、可灵、即梦、Vidu和Runway。


过去一年,柔树的多个作品在国内各类AI视频竞赛中获奖。例如《您那被病吞噬的记忆,我会用爱去填补》获得AI视觉创意大赛(VACAT瓦卡奖)原创IP影片类银奖。他给自己的标签是“擅长二次元AI短片或MV制作”,AIGC创作也从副业变成他计划未来全职投入的新方向



当数学家笔下的虚拟角色拥有“自我意识”
作品:《E^(I*π) + 1 = 0》
创作者:Junie Lau
获奖/口碑情况:Runway AIFF 第二届银奖;首届Artefact AI电影节最佳AI应用奖

数学之美被这部AI短片视觉化呈现了出来。短片讲述了一位数学家创造的虚拟宇宙中,三个主角试图探索世界的真相,却发现所谓的“真相”不过是数学家编写的代码的一部分。

具体制作上,这部短片是一部结合真人实拍的AI短片。据创作者Junie透露,这部短片用到了多种AI技术和工具,包括Luma AI(利用NeRFs技术捕捉和重建3D环境)、Runway Gen2、StableDiffusion、Warpfusion(开源AI动画工具)、ElevenLabs和ChatGPT。这些工具应用于现实与虚拟世界的构建、英文角色配音、翻译,以及美术场景中关键实物道具的制作等。


用AI诠释“失败者”的多重宇宙
作品:《失败者宇宙》
创作者:希希叔叔
获奖/口碑情况:CCTV6 x B站AI影像大赛 一等奖

2024年4月,电影频道联合哔哩哔哩发起AI影像征集大赛,《失败者宇宙》在科幻赛道中荣获一等奖。该短片以平行宇宙为设定,讲述了一个“失败者”在不同宇宙中的身份与际遇。

创作者“希希叔叔”向我们介绍,短片制作采用图生视频工作流,分镜大部分由Midjourney生成,图片转视频主要借助可灵AI,同时混合即梦AI进行动态生成。


他从2023年初开始接触AIGC文生图,过去一年独立制作了《即梦》《可灵汉堡》《失败者宇宙》《超能力妈妈》等原创作品,并在国内多个AI短片竞赛中斩获三个金奖。他同时还经营着一家影视传媒公司,目前AIGC已纳入其团队日常工作流。他认为,AIGC的创作方式对创作者提出了更高审美要求,也考验着创作者面对AI海量可能性时的选择决策能力



命途多舛的Sora爆火短片

作品:《Air Head》
创作者:加拿大制作公司Shy Kids
获奖/口碑情况:“Sora史上最佳发布”

《Air Head》是加拿大制作公司Shy Kids利用Sora打造的超现实短片,于2024年3月由OpenAI公开发布。该短片因情节完整、叙事性强,一度被网友誉为“Sora史上最佳发布”。

戏剧性的是,短片发布不久后,制作团队对外透露《Air Head》并非Sora一键直出,实际制作过程中使用了大量转描技术和人工后期创建的视觉特效:先与Sora交互生成原始素材,再通过传统影视制作工具(如AE)进行后期编辑和修改。

当时的Sora无法原生渲染“摇摄”等这类镜头运动
需人工后期通过剪裁手动创建相关效果

不过,得益于独特的创意及其在社交媒体上的广泛传播,《Air Head》在AI创作社群里积累了一定的影响力和认知度,是许多创作者在2024年上半年重要讨论和研究的一部短片,部分创作者还会借鉴创意或用新的AI视频工具重制这部作品。

相关阅读:《“打假”Sora爆火短片:史上最佳发布,背地里全靠人工驱动》
两天时间制作100个AI镜头,
用有限的时间和技术讲一个好故事
作品:《万里星河千帐灯》
创作者:祝上
获奖/口碑情况:MIT全球AI电影黑客马拉松大赛最佳影片

《万里星河千帐灯》是一部制作于2024年2月的短片,由创作者祝上带领团队在MIT全球AI影像黑客马拉松大赛期间仅用两天时间完成制作。故事讲述了一位曾经是科技英雄的宇航员,在对过去和世界感到失望的情况下,与队伍一起前往火星探险。在途中遭遇险境后,他凭借过往积累的勇气,最终走出困境。


主要制作流程是:将AI生成的故事分镜导入Runway进行视频化,一些特效镜头如火箭垂直降落的场景用到了Runway运动笔刷功能进行精准控制,并在导入剪辑时进行加速等后期处理。


祝上曾表示,团队在制作时避开了AI难以实现的复杂人物角色构建和动作打斗场面,而是发挥AI在生成静态画面和简单运动效果方面的优势。AI短片重要的仍是讲故事和传递普世人类情感,而非单纯为了展示技术而创作。



过去一年,AI视频从模型层走向应用层,逐渐在内容创作端分化出两个路线。

 

一种是UGC大众创作。“互联网乐子人”擅长用AI搞抽象,平台们也乐见其成,AI抽象视频在抖音等主流社交媒体平台上都有动辄破百万、甚至近千万的爆款。相关阅读:《盘点2024十大抽象AI视频,我们还给它们颁了个抽象的奖》

 

一种是PGC、PUGC专业用户创作。从前文整理的10部AI短片可以发现,获了奖或在AI圈有一定口碑的AI短片,大多出自有专业影视制作背景的创作者之手。

 

虽然《鬼饮食》《格式化》的创作者没有传统影视制作经验,但他们都具备一定的影视制作基础,比如自学过视听语言、会操作AE等软件。

 

也因此,这些作品普遍采用了多种AI技术与工具的融合,如Midjourney、Runway、ComfyUI等,以及传统影视制作软件如AE、Blender等,以实现更丰富的视觉效果和更精细的创作控制。

 

另一个显著的共性是,大多数获奖的创作者使用的都是图生视频工作流,提及最多的AI视频工具也都是产品化做得不错的头部产品,只有部分创作者会在工作流中融入更有使用门槛的ComfyUI等开源工具。

 

当然,这和竞赛的量级、定位、评委构成密切相关。但可以肯定的是,2024年AI视频在各方的推动下,不仅吸引了具有专业背景的创作者,还有一批处于UGC和PGC之间的PUGC创作者加入,共同构成了整个专业向AI视频创作的生态。

 

可以说,过去一年AI在图像视频领域的提升,实实在在地解放了一部分人的生产力。

 

这也是我们在新一年期待看到的。毕竟AI视频工具在技术层面上尚不成熟,仍需更多活跃在一线的创作者持续探索,来进一步推动AI视频在C端社交娱乐、中短视频内容创作和专业级影视创作等应用场景的落地。


(文:AI新榜)

欢迎分享

发表评论