加入我们的每日和每周新闻通讯，获取有关行业领先的 AI 报道的最新更新和独家内容。了解更多
AWS 宣布了更多针对 Bedrock 的更新，旨在识别幻觉并更快地构建更小的模型，因为企业希望从模型中获得更多定制和准确性。
AWS 在 2024 年 re:Invent 大会上宣布了 Amazon Bedrock 模型蒸馏和自动推理检查，这些功能目前正在为有兴趣训练更小模型并捕捉幻觉的企业客户提供预览。
Amazon Bedrock 模型蒸馏将允许用户使用更大的 AI 模型来训练更小的模型，并为企业提供他们认为最适合其工作负载的模型。
更大的模型，例如 Llama 3.1 405B，拥有更多知识，但速度缓慢且笨拙。更小的模型响应速度更快，但通常知识有限。
AWS 表示，Bedrock 模型蒸馏将使将更大模型的知识转移到更小的模型中变得更加容易，而不会牺牲响应时间。
用户可以选择他们想要的重量更大的模型，并在同一系列中找到一个更小的模型，例如 Llama 或 Claude，它们在同一系列中具有各种模型大小，并写出示例提示。Bedrock 将生成响应并微调更小的模型，并继续生成更多示例数据以完成蒸馏更大模型的知识。
目前，模型蒸馏适用于 Anthropic、Amazon 和 Meta 模型。Bedrock 模型蒸馏目前处于预览阶段。
对于希望获得更快速响应模型的企业，例如可以快速回答客户问题的模型，在了解大量信息和快速响应之间必须取得平衡。
虽然他们可以选择使用大型模型的较小版本，但 AWS 认为，更多企业希望在他们想要使用的模型类型（包括大型模型和小型模型）方面拥有更多定制选项。
AWS 在 Bedrock 的模型花园中提供各种模型选择，希望企业能够选择任何模型系列并训练更小的模型以满足其需求。
许多组织，主要是模型提供商，使用模型蒸馏来训练更小的模型。然而，AWS 表示，该过程通常需要大量的机器学习专业知识和手动微调。Meta 等模型提供商已使用模型蒸馏将更广泛的知识库引入更小的模型。Nvidia 利用蒸馏和修剪技术创建了 Llama 3.1-Minitron 4B，这是一个小型语言模型，据称其性能优于同等大小的模型。
模型蒸馏对于 Amazon 来说并不新鲜，该公司自 2020 年以来一直在研究模型蒸馏方法。
幻觉仍然是 AI 模型的一个问题，尽管企业已经创建了诸如微调和限制模型响应内容之类的解决方法。然而，即使是最经过微调的模型，仅执行带有数据集的检索增强生成 (RAG) 任务，也可能仍然会出错。
AWS 的解决方案是 Bedrock 上的自动推理检查，它使用数学验证来证明响应的正确性。
“自动推理检查是第一个也是唯一一个生成式 AI 保护措施，它使用逻辑上准确且可验证的推理来帮助防止因幻觉造成的实际错误，”AWS 表示。“通过提高客户对模型响应的信任度，自动推理检查为生成式 AI 开辟了新的用例，在这些用例中，准确性至关重要。”
客户可以从 Amazon Bedrock Guardrails 访问自动推理检查，该产品为模型带来了负责任的 AI 和微调。研究人员和开发人员经常使用自动推理来处理数学复杂问题的精确答案。
用户必须上传他们的数据，Bedrock 将为模型制定规则以供其遵循，并指导客户以确保模型针对他们进行调整。检查完毕后，Bedrock 上的自动推理检查将验证模型的响应。如果返回错误内容，Bedrock 将建议新的答案。
AWS 首席执行官 Matt Garman 在他的主题演讲中表示，自动检查确保企业的 data 仍然是其差异化因素，其 AI 模型准确地反映了这一点。
