作者|袁博
来源|AI先锋官
在 AI 视频领域,Runway 与 Luma,堪比谷歌和 OpenAI,相并相杀。
最近, Runway刚刚放出最新图像生成模型Frames,还不到半小时,Luma就发布了全新Dream Machine平台。
Luma推Dream Machine:文字、图像、视频一条龙服务
我们先来看看Luma的Dream Machine平台。
Dream Machine平台的一大亮点是其直观的交互设计。
它将文字、图像、视频都融合到一个流程中,你只需用自然语言将想法描述出来,它就会先生成一些图片;然后,你只需从它生成的图片中选择出开始帧和结束帧,即可生成视频。
同时,你还可以自己上传参考图像,来指导平台的视频输出。
说到这,可能大家还有些云里雾里,小编这就为大家带来一手实测。
目前,Dream Machine已在iOS和Web上推出。
进入Dream Machine平台官网(链接:https://lumalabs.ai/dream-machine),在这里你可以向下滑动,查看官方对该平台的简单介绍,点击“Try Now”即可进入使用界面。
点击下方“+”即可开始创作,在这里只需要与Dream Machin像聊天一样,说出需求即可。
例如小编向它发送“想象一个女人的头发在各种环境中飘扬,从悬崖边到城市景观,每一个都捕捉到了独特的情绪和氛围。”
随后它就生成了4张图片。如果不满意,点击对话下方的“Show More”,它就会再生成4张图片,点击即可放大查看。
如果还是不满意,并且你有更好的想法,那只需点击“Reply”,再次跟它说出你的需求即可。它就会在这组照片的基础上,进行更改。
点击单一图片下方的“Modify…”,也可以只对这一张图片进行修改。
没有灵感?点击“Brainstorm”或许它可以给你一些建议。
接下来就是视频生成环节了,选择一或两张你满意的图片,点击图片下方“Make video”,作为“开始帧”和“结束帧”,同时你也可以上传本地图片。
点击聊天框上方的“开始帧”和“结束帧”的图片也可以直接滑动调换位置或删除。
然后再描述场景中的摄像机动作即可点击生成,当然不输入也可以。若想延长视频时长,简单说声“循环”,即可创建循环效果。
啧,小编只能说,Luma的想法是真的牛*,但在视频、绘图技术上还真是有待提高,它生成的视频可谓是集结了所有AI视频的“毛病”,例如,手指问题,画质崩坏等等,并且,图片生成似乎也没那么出众。
不过,看在Dream Machine平台提供的“镜头运动”、“起始与结束帧”和循环功能,可以让用户轻松导演和定制视频效果这方面,小编还是非常期待Luma在后续进行的升级和优化的。
Runway Frames:专注特定美学,重构创意边界
接下来登场的是Runway的最新图像生成模型Frames!
与传统的通用图像生成模型不同,Frames最大的魅力在于其对风格和美学的极致控制。
它的核心能力,在其“世界构建”的独特技术。用户可以细粒度地控制图像的”外观、感觉和氛围”,不再是简单地生成图片,而是帮你编织一个完整的艺术世界。
它不仅在风格控制和视觉真实度方面实现了重大突破,甚至还能在保持风格一致性的同时,支持广泛的创意探索。
目前,它正在逐步开放访问权限,那我们就先简单探索一波Frames吧。
通过经典电影的视觉语言重新构想数字肖像,其中每张图像都捕捉了标志性构图风格的精髓。主题通过精心编排的光影场景浮现。
潜入1980年代的特效化妆,这是一个复活实际效果时代的世界,当时生物是从乳胶和油漆而不是像素中出现的。每件作品都向手工制作的怪物致敬,展现手工制作的怪物和特效的独特魅力。
雄伟的动物和戏剧性的摄影与实验性的排版和饱和的色彩相结合。每款设计都重新构想了新音乐专辑的大胆美学,当时凶猛的生物和引人注目的肖像统治了黑胶唱片艺术。
复古动漫美学与梦幻科幻小说相遇,在鲜花和飞碟的五彩斑斓的交织中。那种独特的70年代漫画感觉 – 大胆的线条、宇宙背景,以及浪漫与超现实的不可抗拒的混合。
当代肖像艺术与对称性建筑和电影级色彩的完美结合。Frames 捕捉了独特的艺术感——中性色调、决定性的时刻以及经过深思熟虑的构图,主题和空间合二为一。
大自然的方方面面都以生动的细节展开,从遥远山峰的最深阴影到矿物构造的绚丽纹理。大地与天空的相互作用,从晶莹剔透的盐滩到沉思的山脉,以广阔的色调细节呈现。
老式闪光灯与真实瞬间的邂逅,展现颗粒感和漏光的独特魅力。典型的35毫米胶片风格,过曝的高光、生动的色彩变化以及照片的真实能量,无需过多思考即可拍摄。
日常物品通过深思熟虑的构图和自然光展现出它们安静的诗意。每张图像都将平凡转化为迷人,在纠结的电缆、破旧的笔记本以及熟悉的阴影中的微妙游戏中寻找美。
复古剪报和波普艺术的情感在超现实的新叙事中碰撞。每件作品都将撕裂的照片、大胆的排版和意想不到的并置分层,创造出挑衅性的作品,模糊了幽默和不安之间的界限。
日常物品在大胆的单色背景下迸发出完美编排的混乱。每个构图都定格了受控破坏的时刻,将简单的物体变成运动和能量的动态雕塑。
小编个人感觉,凭借Frames发布的示例来看,它生成图片的质量已经可以比肩Midjourney了,只希望以后在实际使用中也能是如此。
Runway向我们展示了不同年代的世界,同时这个功能正好也适配了此前发布的图生视频功能。
技术的边界正在不断被往前推移,而创意,正前所未有地唾手可得。
最后,感兴趣的小伙伴可以先到runway的官网查看。
https://runwayml.com/research/introducing-frames
(文:AI先锋官)