Meta Platforms 周四推出了两项基于人工智能的视频编辑新功能，名为 Emu Video 和 Emu Edit。这些工具旨在根据文本指令执行任务，并可用于发布到 Instagram 或 Facebook。
第一个称为 Emu Video，它会生成四秒长的视频，并带有标题、照片或图像提示以及描述。另一个称为 Emu Edit，它允许用户通过文本提示更轻松地更改或编辑视频。该公司在博客文章中表示，这些新工具是 Meta 对仅基于文本指令的受控图像编辑和基于扩散模型的文本到视频生成方法的新研究的一部分。
Emu Video 通过将提示与标题、照片或图像描述相结合来生成简短的四秒长视频。另一方面，Emu Edit允许用户使用文本提示轻松修改或编辑视频。根据 Meta 的博客文章，这些新工具是该公司探索仅基于文本指令的受控图像编辑和使用扩散模型的文本到视频生成方法的一部分。
“Emu 的技术支撑着我们的许多生成式 AI 体验，Instagram 的一些 AI 图像编辑工具可让您拍照并更改其视觉风格或背景，而 Meta AI 中的 Imagine 功能可让您直接在消息中生成逼真的图像该助理或在我们的应用程序系列中进行群聊。我们在这个令人兴奋的领域的工作正在进行中，今天，我们宣布对仅基于文本指令的受控图像编辑和基于扩散模型的文本到视频生成方法进行新研究，”Meta 在博客文章中说。
https://techstartups.com/wp-content/uploads/2023/11/Emu-Video.mp4
Meta 最初在 9 月份的 Meta Connect 活动期间推出了 Emu，它支撑着各种生成式 AI 体验。其中包括 Instagram 的 AI 图像编辑工具，使用户能够更改照片的视觉风格或背景，以及 Meta AI 中的 Imagine 功能，用于在应用程序中的消息和群聊中生成逼真的图像。
最新的工具代表了父模型 Emu 的进步，它可以根据文本提示生成图像。 Meta强调，Emu Video利用Emu模型，简化了基于扩散模型的文本到视频的生成，仅接受文本、仅接受图像或同时接受文本和图像的输入。
该公司详细介绍了一个两步的生成过程，首先根据文本提示创建图像，然后根据文本和生成的图像生成视频。与之前需要多个模型的方法不同，Meta 的方法更加简单，仅使用两个扩散模型即可以每秒 16 帧的速度生成 512×512 的四秒视频。
Meta还推出了Emu Edit，它可以通过指令进行自由形式的编辑，涵盖本地和全局编辑、背景去除和添加、颜色和几何变换以及检测和分割等任务。
Meta 强调，主要目标不仅仅是生成“可信”的图像，而是精确地仅更改与编辑请求相关的像素。 Emu Edit 的突出之处在于准确地遵循指令，确保与任务无关的像素在输入图像中保持不变。
Emu Edit 用于用笑脸枕头代替笔记本电脑
为了训练模型，Meta 创建了一个包含 1000 万个合成样本的数据集，每个样本都包含一个输入图像、一个任务描述和目标输出图像。该公司认为该数据集是迄今为止同类数据集中最大的。
虽然 Meta 承认这项工作目前属于基础研究，但它概述了潜在的用例，例如创建个性化的动画贴纸或 GIF 用于聊天、无需技术技能即可编辑照片、使用动画静态照片增强 Instagram 帖子或生成全新内容。
近年来，生成式人工智能领域迅速发展，从图像生成过渡到视频生成。 Meta 以及现有的大型语言模型（例如 AudioCraft、SeamlessM4T 和 Llama 2）一直处于这一发展的最前沿。生成式人工智能服务，包括微软支持的 OpenAI 的 ChatGPT，已经在商业界获得了极大的关注，各公司都在寻求更新的功能和流程改进。
随着 Meta 在这个快速发展的领域与微软、谷歌和亚马逊等其他科技巨头竞争，它对人工智能的关注不断加强。您可以通过访问 Emu Video 项目和 Emu Edit 项目网页了解有关 Emu Video 和 Emu Edit 的更多信息。
本文来自互联网，不代表前途科技立场，如若转载，请注明出处：https://accesspath.com/tech/5883958/
