自去年在迈阿密举行的 Adobe MAX 2024 上首次展示以来,Adobe 的 Firefly 视频模型一直是这个新兴 AI 视频领域中最受关注和期待的模型之一。本月,新的 Firefly 视频模型已推出公开测试版,Adobe 还推出了一个新的 Firefly Web 应用程序,该应用程序将具有自己的生成视频(测试版)功能,以及 Premiere Pro 中已有的生成式扩展(测试版)。
新的 Firefly Web 应用程序提供一套由 Firefly 系列模型提供支持的全面工具,并直接与 Adobe 应用程序集成,除了众多视频生成功能,Adobe 还添加了“场景转图像”(测试版)和“翻译音频和视频”。顾名思义,Translate Audio and Video 为创作者提供了快速翻译音频和视频文件的工具,翻译目前支持 20 多种语言,包括中文、德语、英语、法语和西班牙语。现在的语音翻译工具很多,但Firefly 是将能够将视频中的音频文件和音轨翻译后,同时保留说话者的真实声音,包括语气,以便尽可能真实的与视频同步。来看一下样片:
Translate Audio and Video使用起来并不复杂,下面是使用教程:
开始之前:
准备一个格式为 .mp3、.aac 或 .wav 的音频文件,时长至少为 5 秒,最长不超过 10 分钟。文件中必须包含至少 5 秒的连续语音,且背景噪音或回声应尽量少。
操作步骤:
1、在 Firefly 主页上,进入 Audio 部分,然后选择 Translate audio。
2、选择 Browse files 并上传你要使用的文件。
3、成功上传后,Translate audio 下的 **Source language (auto-detected)** 下拉菜单会显示检测到的语言。
-
提示:你可以使用 Source language (auto-detected)** 下拉菜单更改源语言。
4、从 Translate into 下拉菜单中选择一种或多种目标语言。

-
提示:你可以使用 Translate into 下拉菜单选择多种语言进行文件翻译。
5、选择 Generate 开始翻译。
-
注意:在选择 Generate 开始翻译之前,请使用余额指示器检查你计划中的可用信用额度。
6、使用 Language 下拉菜单选择一种翻译后的语言并查看内容。

7、选择 Download 以下载翻译后的 .wav 格式文件。
内容凭证将附加到生成的配音文件中,以便人们了解生成式 AI 在创作过程中的使用。文件也会添加到 Your media 部分,并可在 7 天内下载。之后,文件将被永久删除。
非常简单容易,是不是。
(文:AI音频时代)