订阅我们的每日和每周新闻简报，获取有关行业领先人工智能报道的最新更新和独家内容。了解更多
想象一下，一个客服聊天机器人自信地描述着一款并不存在的产品；一个金融人工智能编造了市场数据；一个医疗机器人提供着危险的医疗建议。这些人工智能幻觉，曾经被视为有趣的怪癖，如今已成为企业急于部署人工智能所面临的百万美元问题。
总部位于旧金山的初创公司 Patronus AI 最近获得了 1700 万美元的 A 轮融资，并推出了其称之为首个实时检测和预防人工智能故障的自服务平台。可以将其视为人工智能系统的复杂拼写检查器，在错误到达用户之前将其捕获。
Patronus AI 首席执行官阿南德·坎纳潘在接受 VentureBeat 采访时表示：“许多公司正在生产中努力解决人工智能故障，面临着幻觉、安全漏洞和不可预测行为等问题。” 问题的严重性不容小觑：该公司最近的研究发现，像 GPT-4 这样的领先人工智能模型在被提示时，有 44% 的概率会复制受版权保护的内容，即使是先进的模型在超过 20% 的基本安全测试中也会生成不安全的响应。
现在正是采取行动的关键时刻。随着企业争先恐后地实施生成式人工智能功能——从客户服务聊天机器人到内容生成系统——他们发现现有的安全措施已不足以应对挑战。像 Meta 的 LlamaGuard 这样的现有评估工具的准确率低于 50%，几乎与掷硬币无异。
Patronus AI 的解决方案引入了多项创新，有可能重塑企业部署人工智能的方式。也许最重要的是其“评判评估器”功能，它允许企业用简单的英语创建自定义规则。
Patronus AI 产品负责人瓦伦·乔希告诉 VentureBeat：“您可以根据产品的具体需求定制评估。我们让客户用英语写出他们想要评估和检查的内容。” 金融服务公司可能会指定有关监管合规性的规则，而医疗保健提供者则可以专注于患者隐私和医疗准确性。
该系统的核心是 Lynx，这是一种突破性的幻觉检测模型，在检测医疗错误方面比 GPT-4 高出 8.3%。该平台以两种速度运行：一种用于实时监控的快速响应版本，以及一种用于更深入分析的更彻底版本。乔希告诉 VentureBeat：“小型版本可用于实时防护栏，而大型版本可能更适合离线分析。”
除了传统的错误检查之外，该公司还开发了专门的工具，例如 CopyrightCatcher，它可以检测人工智能系统何时复制受保护的内容，以及 FinanceBench，这是业界首个用于评估人工智能在金融问题上的表现的基准。这些工具与 Lynx 协同工作，提供针对人工智能故障的全面覆盖。
该公司采用了按需付费的定价模式，小型评估器起价为每 1000 次 API 调用 10 美元，大型评估器起价为每 1000 次 API 调用 20 美元。这种定价结构可能会极大地提高对人工智能安全工具的访问权限，使以前无力负担复杂的人工智能监控的初创公司和小企业也能使用这些工具。
早期采用表明，大型企业将人工智能安全视为一项关键投资，而不仅仅是锦上添花的功能。该公司已经吸引了包括惠普、AngelList 和 Pearson 在内的客户，以及英伟达、MongoDB 和 IBM 等科技巨头的合作伙伴。
Patronus AI 的与众不同之处在于它专注于改进，而不仅仅是检测。坎纳潘解释说：“我们实际上可以突出显示幻觉发生的特定文本片段的范围。” 这种精确性使工程师能够快速识别和解决问题，而不仅仅是知道出了问题。
此次发布正值人工智能发展的一个关键时刻。随着 GPT-4 和 Claude 等大型语言模型变得更加强大和广泛使用，人工智能故障的风险也随之增加。一个产生幻觉的人工智能系统可能会使公司面临法律责任、损害客户信任，甚至更糟。
最近的监管举措，包括拜登总统的人工智能行政命令和欧盟的人工智能法案，表明企业很快将面临确保其人工智能系统安全可靠的法律要求。像 Patronus AI 平台这样的工具可能会成为合规的关键。
乔希强调：“良好的评估不仅仅是防止不良后果——它与改进模型和产品息息相关。” 这种理念反映了人工智能安全日益成熟的方法，从简单的防护栏转向持续改进。
Patronus AI 的真正考验不仅仅是捕捉错误——而是要跟上人工智能飞速发展的步伐。随着语言模型变得更加复杂，它们的幻觉可能变得更难发现，就像找到越来越逼真的伪造品一样。
风险从未如此之高。每次人工智能系统编造事实、推荐危险的治疗方法或生成受版权保护的内容时，都会削弱这些工具实现业务转型所需的信任。如果没有可靠的防护栏，人工智能革命可能会在真正开始之前就步履维艰。
最终，这是一个简单的真理：如果人工智能无法停止编造东西，最终可能要由人类来承担代价。
