本文最初发布于 2022 年 11 月 16 日。
在从视频游戏到电视和电影的现代媒体平台上，人类配音作品无处不在。但是，您在屏幕上听到的声音越来越不完全是人声；它们是人工智能的结果。
Respeecher 是一家成立于 2018 年、总部位于乌克兰的语音克隆公司，目前正在与卢卡斯影业合作，为《星球大战》项目提供语音服务。Respeecher 的语音到语音技术负责合成年轻卢克·天行者的声音，包括在《曼达洛人》和《波巴·费特之书》中，以及在《欧比旺·克诺比》系列中将詹姆斯·厄尔·琼斯标志性的达斯·维德声音恢复到原始质量。
该公司还为 2021 年的超级碗广告数字重建了已故 NFL 教练文斯·隆巴迪的声音，并协助实现了Aloe Blacc 对 Avicii 的致敬，其中 Blacc 用多种语言演唱——其中一些他实际上并不会说。
AI 语音复制如何运作
Respeecher 联合创始人兼首席技术官 Dmytro Bielievtsov 表示，该过程始于真实人类的目标音轨。这些录音通常总时长一到两小时，会被输入到该公司的 AI 软件工具中进行分析，直到可以克隆该声音。
然后进行测试——以确保克隆的声音无法与原始声音区分开来——然后将复制的语音形式应用于“源说话人”（一个演员正在朗读正在制作的任何项目中的台词）。结果是合成的语音录音，其中包含真实人声的情感、语调和细微差别，超越了机器人式文本到语音程序所能提供的功能。
“换句话说，”Bielievtsov 说，“你对着麦克风说话，这项技术就能让你听起来完全像年轻的卢克·天行者。”在《曼达洛人》的案例中，该公司通过分析旧采访、语音录音配音和自动对话替换（后者是用于改善演员对话的后期制作音轨）来捕捉演员马克·哈米尔年轻时的目标声音。
Respeecher 的网站上还有一个语音市场；这允许客户选择他们想要用于其项目的声音，无论是制作电视广告、有声读物还是其他形式的内容。
潜在的滥用
该公司目前正在开发实时语音转换技术，该技术可以实时合成一个人的声音。Bielievtsov 表示，目前的系统为了速度而牺牲了一些质量，目前仅在有限范围内使用，但其应用令人振奋。他解释说，在医疗保健领域，该技术可以帮助因喉切除术等手术导致语音障碍的人——让他们能够再次用自己的自然声音“说话”。
然而，YouTube 视频展示了 Respeecher 技术对人声所能做到的效果，可能会在某些人身上引起“恐怖谷”反应。例如，导演摩根·内维尔在纪录片《跑者》中数字重建了已故安东尼·波登的声音——配音了波登写但从未实际说过的几句话——引发了巨大争议。
阅读更多：恐怖谷的诡异感受
同样，麻省理工学院高级虚拟性中心制作的、荣获艾美奖的 2020 年短片《月球灾难事件》，旨在探索深度伪造技术，也使用了 Respeecher 的音频帮助。这部纪录片展示了理查德·尼克松朗读的演讲，如果阿波罗 11 号登月任务未能返回地球，他将发表该演讲。当然，尼克松从未真正说过这些话。但在这种平行历史中，他的深度伪造演讲改写了现实。
不难想象，语音克隆技术落入坏人之手会是什么样子。然而，Bielievtsov 表示，Respeecher 非常重视其技术的伦理和安全问题。
他说：“我们通过要求克隆语音的许可并限制在语音市场复制任何人声音的能力来实现合成语音的道德使用。”他补充说，该公司正在为其技术开发两种技术防御措施：合成语音检测器和音频水印。
AI 语音复制是未来的趋势吗？
Bielievtsov 认为，AI 语音复制的未来将在许多领域拥有广泛的应用。其中一些应用已经取得了巨大的成功。
例如，英国演员迈克尔·约克（许多人熟知他是《王牌大贱谍》系列中的巴兹尔·博览会）患有罕见疾病淀粉样变性。近年来，由于舌头肿胀（该疾病的症状之一），他说话变得困难。
当被要求为他几年前配音的一部动画医学电影录制新的旁白时，约克发现他的声音已不如从前。幸运的是，Respeecher 的 AI 技术通过使用之前录音会话的数据，帮助匹配了约克的目标声音，成功地使电影得以更新。
Bielievtsov 相信，用于电影摄影、游戏、流媒体和内容创作的语音克隆技术在未来几年可能会增加。甚至呼叫中心现在也可以使用它。
他说：“我们的团队希望将这项技术民主化，以便小型电影和电视工作室以及视频游戏开发商能够利用它来拓展预算。”“我们希望小型创作者能够以他们的想法、实施和创造力与大型工作室竞争，而不是预算。”
