你知道吗?AI 正在重新混音你的声音作品 甚至……

这两年,有关AI音频的争论可以算是音频技术里最火热的讨论话题之一了,不过从声音人的角度,可能完全无条件支持AI者甚少,面临着AI技术的强大冲击,大量的工作流程眼看着要被替代,声音人几乎束手无策,也就有了抗议:重磅:电影声音剪辑师协会禁止使用AI生成式人工智能的电影参奖。但今天不是要谈论这个体系性问题,而是每一天正在悄无声发生的,事关声音制作流程的具体问题-混音



现在很多与内容播放相关的音视频硬件,开始应用AI技术,比如电视、电脑、手机、平板……五花八门涉及到方方面面,而在音频硬件中有一项与混音有关的,相当于为影视作品的再混音。


其实很早在各种硬件和平台上一直都有类似的选择,很常见,基本都是EQ类的调整,根据听者的喜好,不同的听音环境、不同的听音设备,可调整声音/音乐的EQ平衡,一般都是多段EQ可调。


▲ 过去的EQ调整




不过到了AI声音时代,EQ等一些模拟或数字音频技术的调整已经逐步被AI技术取代,例如Apple TV 的 “Enhance Dialogue 对话增强” 是一项利用 AI 技术提升音频体验的功能,主要通过实时音频处理和机器学习技术,让电影等声音作品中的对话/对白清晰突出。


▲ Apple TV


01

功能原理:

该功能会通过AI模型分析播放的音频,将演员的语音从音效和背景音乐中分离出来,然后将对话 “推” 到中央C声道,从而在混音中强行提升对话的清晰度,使观众能更清楚地听到角色对话。


▲ 对话增强选项


该功能最初在 tvOS 17 中推出,当时仅面向搭配 HomePod 扬声器设置的 Apple TV 4K 用户开放。但到了 tvOS 18,“Enhance Dialogue” 除了技术上更进一步,适用范围也进一步扩大。不仅 HomePod 扬声器,用户现在还能通过电视内置或经 HDMI 连接的扬声器、AirPods、或其他经蓝牙连接的装置以及在 iPhone 和 iPad 上播放支持内容时使用该功能。


02

使用方式:

用户可以在播放过程中进行设置,选择 “Enhance” 对话会突出,但对原始音频混音影响只能说相对较小;选择 “Enhance More” 可使对话更加突出,但会完全改变原始音频混音;当然也可以选择关闭该功能。


在许多电影和电视节目中,尤其是观众在普通电视等没有独立音响的情况下,由于音效和背景音乐较为嘈杂,常常会导致对话声音被掩盖,影响观众对语音对话的听觉体验和影片的理解。“Enhance Dialogue” 功能解决了这一问题,让观众无需费力聆听就能清楚了解剧情内容。


▲ 语音隔离选项


而在tvOS 18.0 或更高版本更加变本加厉,Apple TV 在设置中添加了“语音隔离”。开启此设置后,“对话完全隔离出来,其他音频元素大幅减少或基本不存在。”


虽然Apple TV已经成为重要的流媒体平台,且对影视拍摄制作投资巨大,对影视制作中发展也有推动作用,比如目前正在影院上映的《F1:狂飙飞车》,这部由布拉德・皮特主演的电影投资近 2.5 亿美元,是苹果史上最昂贵的非 IP 电影之一,我们不知道声音制作预算整体有多少,但可能至少也要几百万美金,有近四十人声音制作团队,所有声音制作流程最终都汇集到混音制作中,也不知道当观众选择用对话增强甚至对话隔离后,S6控台前的混音大师Al Nelson会怎么想。



对于强声音设计的影视类作品,混音的重要性尤为突出:混音不仅是对音频信号的技术性调整,更是一种艺术创造行为,有混音师与导演、声音部门的精心设计与创意,有叙事表达、情感传递和观众体验等诸多方面的考虑,现在更是要考虑其沉浸真实体验,引领观众到达创作目的彼岸,现代的电影声音制作已经成为影片叙事的 “第二语言”,具有无可比拟的作用。所以,在 AI 技术全面渗透音频领域的今天,混音师的审美判断、经验积累和创意决策就愈加不可替代,而这又是人类声音制作核心竞争力所在。


▲ 电影混音的硬件设备投入非常大


所以,动辄以年计算的声音制作时间,数月的混音工作,都是为了让观众深入到故事与人物之中,与角色同呼吸共命运,感同身受身临其境的体验人生,只是在对白隔离中,这样的体验肯定是无效的,我们生活的世界本身就是一个由各种声音音源通过各种物质的传播与反射包围着每个人的声音世界,当一部电影声音只剩对白还在时,电影的意义又何在?


不过,这些年关于声音制作及混音的争议也时常发生,一些知名世界大导认为在声音创作中普通观众的听感和反应是其次的,最执着的应该就是诺兰导演,无论超大声响,还是不在乎台词能否听清,甚至有底噪也坚持不使用ADR等后期手段,这里面的艺术考量以及超出一切,甚至在IMAX拍摄的《奥本海默》里,我们能从影院的音箱中听到隐约的胶片摄影机马达声,过去我们曾经数次报道:

《敦刻尔克》被观众反应声音太大,但诺兰导演说No
《信条》声音又被喷了,我选择相信诺兰,你呢?
即使听不清楚也不用ADR!这是艺术选择!诺兰再次受到批评!


当观众选择使用语音隔离来观看电影时,坚持着电影理想的那些声音人背后的努力意义又何在?无论从创作和观众体验的角度,也许混音师、导演是对的,但那些观众在乎的只是听清楚台词又错在哪里呢?或许可以用近期流行的话术,都是资本的阴谋!Apple为了观众难道有错么?那为什么最终的结果似乎变成了全盘皆输的局面?真的值得我们继续探究思考!




最后补充一下,如果想要观众去认按照我们希望的方式对待我们的作品,理解我们在做什么,体验我们的创作,更需要不断的普及与推广,这也是我们在做电影声音网FilmSound.cn的意义之一,大家一起努力,先从转发这篇文章开始。


当然对于那些听力不佳的人群或在复杂音频环境下,对话增强与对话隔离还是有一定的必要的,该功能的必要性也更加凸显。

(文:AI音频时代)

发表评论