法国初创公司 Mistral AI 推出内容审核 API，剑指 AI 安全与内容过滤
Mistral AI，这家来自法国的人工智能初创公司，于周四推出了全新的内容审核 API。此举标志着 Mistral AI 在与 OpenAI 等人工智能巨头竞争的同时，也积极应对日益增长的 AI 安全和内容过滤问题。
这款新的审核服务由 Mistral AI 的 Ministral 8B 模型的微调版本驱动，旨在检测九种不同类别中的潜在有害内容，包括色情内容、仇恨言论、暴力、危险活动和个人身份信息。该 API 提供原始文本和对话内容分析功能。
Mistral AI 团队在发布公告中表示：“安全是使 AI 有用的关键因素。在 Mistral AI，我们相信系统级护栏对于保护下游部署至关重要。”
Mistral AI 的新审核 API 分析九类潜在有害内容的文本，并为每类内容返回风险评分。（来源：Mistral AI）
此次发布正值人工智能行业的关键时刻，各公司面临着越来越大的压力，要求他们在其技术周围实施更强大的安全措施。就在上个月，Mistral AI 与其他主要人工智能公司一起签署了英国人工智能安全峰会协议，承诺负责任地开发人工智能。
该审核 API 已经应用于 Mistral AI 自身的 Le Chat 平台，并支持 11 种语言，包括阿拉伯语、中文、英语、法语、德语、意大利语、日语、韩语、葡萄牙语、俄语和西班牙语。这种多语言功能使 Mistral AI 在某些竞争对手中脱颖而出，因为这些竞争对手的审核工具主要集中在英语内容上。
该公司表示：“在过去几个月里，我们看到整个行业和研究界对基于 LLM 的新审核系统的热情日益高涨，这些系统可以帮助使审核在各种应用中更具可扩展性和鲁棒性。”
性能指标显示了 Mistral AI 九个审核类别中的准确率，证明了该模型在检测不同类型潜在有害内容方面的有效性。（来源：Mistral AI）
此次发布紧随 Mistral AI 最近的一系列高调合作，包括与微软 Azure、高通和 SAP 达成的协议，将这家年轻的公司定位为企业 AI 市场中越来越重要的参与者。上个月，SAP 宣布将在其基础设施上托管 Mistral AI 的模型，包括 Mistral Large 2，为客户提供符合欧洲法规的安全 AI 解决方案。
Mistral AI 的方法之所以引人注目，是因为它同时关注边缘计算和全面的安全功能。虽然 OpenAI 和 Anthropic 等公司主要专注于云端解决方案，但 Mistral AI 的策略是同时支持设备端 AI 和内容审核，这解决了人们对数据隐私、延迟和合规性的日益增长的担忧。这对于受严格数据保护法规约束的欧洲公司来说尤其具有吸引力。
该公司的技术方法也显示出超越其年龄的复杂性。通过训练其审核模型来理解对话上下文，而不仅仅是分析孤立的文本，Mistral AI 创建了一个系统，该系统有可能捕获可能通过更基本过滤器而被忽略的微妙形式的有害内容。
该审核 API 现在可以通过 Mistral AI 的云平台获得，定价基于使用情况。该公司表示，将根据客户反馈和不断变化的安全要求，继续提高系统的准确性并扩展其功能。
Mistral AI 的举动表明了人工智能领域的变化速度之快。仅仅一年前，这家总部位于巴黎的初创公司还不存在。现在，它正在帮助塑造企业对 AI 安全的思考方式。在一个由美国科技巨头主导的领域，Mistral AI 对隐私和安全的欧洲视角可能会成为其最大的优势。
