好莱坞早已利用计算机辅助视觉特效，让老牌演员重返青春，让阿诺德·施瓦辛格和威尔·史密斯等动作巨星与自己的数字替身同台竞技，甚至让已故演员在新的《星球大战》电影或电视广告中“复活”。如今，能够学习演员声音和面部表情细微差别的 AI 技术，让电影和电视剧的配音工作变得更加容易，同时还能保留原语言表演的表演细致和声音。
总部位于伦敦的初创公司 Flawless AI 与德国马克斯·普朗克信息学研究所的研究人员合作，将能够从二维电影或电视图像帧中捕捉演员表演并将其转化为三维计算机模型的技术商业化。在训练 AI 学习特定演员的声乐和面部表演后，这家初创公司可以生成原始表演的修改版本，改变演员的声音和面部表情，以适应完全不同的语言。
“这实际上是每个演员头部像素级的 3D 表示，”Flawless AI 的联合首席执行官兼创始人尼克·莱恩斯说。“由于这种像素级的框架，它代表了演员可能做出的所有现象和特质，因为 AI 在理解所有特质之前不需要太多时间。”
AI 生成的配音表演仍然需要人类视觉特效艺术家进行一些手动修饰，莱恩斯预计这种情况在可预见的未来会持续下去。但 Flawless AI 演示卷轴中展示的令人印象深刻的最终结果包括汤姆·克鲁斯和杰克·尼科尔森在 1992 年电影《少数派报告》中用流利的法语互相质问，罗伯特·德尼罗在 2015 年电影《盗窃》中说德语，汤姆·汉克斯在 1994 年电影《阿甘正传》中用德语、西班牙语和日语哭泣着悼念珍妮的坟墓。
包括 Deepdub 和 Canny AI 等以色列公司在内的其他几家公司一直在使用 AI 将电影、电视剧、广告和其他内容配音成新的语言，同时保留原始声音。但 Flawless AI 的方法不仅仅是通过重新塑造演员的嘴部动作和面部表情来适应新的语言配音来重新制作音频。这很可能是首批将此类技术商业化的尝试之一，超出了学术研究论文中所展示的内容。
这家初创公司的想法源于莱恩斯和好莱坞电影导演斯科特·曼恩在洛杉矶为电视剧剧本寻找投资时的一次谈话。两人很快找到了共同点，讨论了 AI 如何帮助电影和电视剧制作减少某些视觉特效和重拍的成本，这促使他们建立了合作伙伴关系，并成为 Flawless AI 的联合首席执行官和创始人。
除了聘请资深的视觉特效主管和好莱坞交易员外，Flawless AI 还与由德国马克斯·普朗克信息学研究所的科学主任克里斯蒂安·西奥巴尔特领导的研究人员合作。西奥巴尔特的研究小组使用基于深度神经网络的 AI 技术，以数字方式改变演员在同一场景中穿着的服装，根据二维图像生成人物面部和头部的三维模型，以及根据人物的单个二维图像创建三维计算机动画人物。
这家初创公司目前可以在电影或电视剧的正常制作时间范围内完成多个配音，或者可以在六到十周内为老电影进行配音。它还找到了如何减少 AI 学习每个演员所有表演细微差别的训练时间和数据量的方法。该团队最初使用所有可用的原始未经编辑的电影片段来训练 AI，但后来找到了更有效的方法，只需使用一小部分此类片段即可训练 AI。
以数字方式修改人物的嘴部动作以适应完全不同的单词，这在 AI 辅助的“深度伪造”视频中也可以看到。但 Flawless AI 的技术比典型的深度伪造视频提供更逼真、更自然的修改后的表演，这一点很重要，因为最终结果可能需要在标准的电影院屏幕上甚至在巨大的 IMAX 格式中展示。
莱恩斯还谨慎地将 Flawless AI 的方法与深度伪造的负面应用区分开来，这些应用可能涉及将名人和平民置于尴尬或有损形象的视频中。“我们所做的是在获得许可、批准和兴奋的情况下进行的，我们获得了内容批准，我们以商业方式进行，我们以尊重的方式进行，”莱恩斯说。
仅语言配音应用就对好莱坞工作室产生了重大影响，更不用说 Netflix 和 Disney Plus 等流媒体平台了，这些平台希望让尽可能多的观众观看更多电影和电视剧。莱恩斯说，Flawless AI 已经与至少一家未公开的客户签署了合同，并且正在与“所有主要的流媒体平台和大多数主要工作室”讨论可能的交易。
但 Flawless AI 数字化演员表演的方法可能具有比在多种语言中实现无缝配音更大的影响。莱恩斯解释说，该公司的技术不仅以数字方式捕捉演员的面部表情和嘴部动作，还训练 AI 学习演员行走步态和身体动作的模式。
这使得有可能使用演员的数字替身以某种方式修改某些电影场景，以修复错误或更好地符合导演的愿景，而不是让演员和剧组重新聚在一起进行昂贵的重拍。例如，不难想象这种技术如何让好莱坞工作室更容易改变某些东西，例如在 2017 年电影《正义联盟》的重拍中，从超人脸上移除亨利·卡维尔因合同义务而留的胡子。
Flawless AI 的方法还以数字方式捕捉演员在特定场景中的整个环境和周围环境。这可以使算法更容易消除错误，例如 HBO 中世纪奇幻剧集《权力的游戏》最后一季中出现的臭名昭著的咖啡杯，正如莱恩斯指出的那样。
“有时在真人世界中，现实世界中，很难确保一切都能按照你想要的方式进行，以便能够完全按照你想要的方式讲述你的故事，”莱恩斯说。“因此，拥有 AI 支持的视觉特效，让我在未来拥有使用标准视觉特效流程无法实现的功能。”
