人工智能（AI）的应用日益广泛，但也伴随着各种风险，包括法律和监管问题、声誉受损以及偏见和缺乏透明度等伦理问题。为了有效管理这些风险，确保AI系统负责任地开发和使用，良好的治理至关重要。目标是确保AI系统公平、透明、可问责，并为社会带来益处。
即使是致力于负责任AI的组织，也难以评估自己是否达到了目标。为此，IEEE-USA AI政策委员会发布了“基于NIST AI风险管理框架的灵活AI治理成熟度模型”，帮助组织评估和跟踪其进展。该成熟度模型基于美国国家标准与技术研究院（NIST）的AI风险管理框架（RMF）和其他NIST文件中的指导原则。
基于NIST的框架
NIST的RMF是一份关于AI治理的权威文件，它描述了AI风险管理的最佳实践。然而，该框架并未提供关于组织如何朝着其概述的最佳实践发展，以及如何评估组织遵循这些指南的程度的具体指导。因此，组织可能会在如何实施该框架方面感到困惑。此外，投资者和消费者等外部利益相关者也可能难以利用该文件来评估AI提供商的实践。
新的IEEE-USA成熟度模型是对RMF的补充，它使组织能够确定他们在负责任的AI治理旅程中的阶段，跟踪他们的进展，并制定改进路线图。成熟度模型是衡量组织参与或遵守技术标准的程度以及其在特定学科中持续改进能力的工具。自1980年代以来，组织一直在使用这些模型来帮助他们评估和开发复杂的能力。
该框架的活动围绕RMF的四个支柱展开，这些支柱促进了对话、理解和活动，以管理AI风险，并在开发可信赖的AI系统中承担责任。这四个支柱是：
- 映射：识别背景，并识别与背景相关的风险。
- 衡量：评估、分析或跟踪已识别的风险。
- 管理：根据预计的影响对风险进行优先排序并采取行动。
- 治理：培养和维护风险管理文化。
灵活的问卷
IEEE-USA成熟度模型的基础是一个基于RMF的灵活问卷。该问卷包含一系列陈述，每个陈述涵盖一个或多个推荐的RMF活动。例如，其中一个陈述是：“我们评估和记录AI系统造成的偏见和公平性问题。”这些陈述侧重于公司可以执行的具体、可验证的行动，避免使用诸如“我们的AI系统是公平的”之类的笼统和抽象的陈述。
这些陈述被组织成与RFM的支柱相一致的主题。主题又根据RMF中描述的AI开发生命周期的阶段进行组织：规划和设计、数据收集和模型构建以及部署。评估AI系统特定阶段的评估人员可以轻松地只检查相关的主题。
评分指南
成熟度模型包含以下评分指南，这些指南反映了RMF中提出的理想目标：
- 稳健性，从对活动的临时实施到系统性实施。
- 覆盖范围，从不参与任何活动到参与所有活动。
- 输入多样性，从活动仅由单个团队的输入告知到由内部和外部利益相关者的多样化输入告知。
评估人员可以选择评估单个陈述或更大的主题，从而控制评估的粒度级别。此外，评估人员需要提供文件证据来解释他们分配的评分。证据可以包括公司内部文件，例如程序手册，以及年度报告、新闻文章和其他外部材料。
在对单个陈述或主题进行评分后，评估人员会汇总结果以获得总分。成熟度模型允许灵活度，具体取决于评估人员的兴趣。例如，可以根据NIST支柱汇总分数，生成“映射”、“衡量”、“管理”和“治理”功能的分数。
在内部使用时，成熟度模型可以帮助组织确定他们在负责任的AI方面的立场，并确定改进其治理的步骤。
汇总可以揭示组织在AI责任方面的系统性弱点。例如，如果一家公司的“治理”活动得分很高，但其他支柱得分很低，那么它可能正在制定没有得到实施的健全政策。
另一种评分方法是根据RMF中强调的AI责任的某些维度进行汇总：性能、公平性、隐私、生态、透明度、安全性、可解释性、安全性以及第三方（知识产权和版权）。这种汇总方法可以帮助确定组织是否忽略了某些问题。例如，一些组织可能会根据他们在少数风险领域的活动来吹嘘他们的AI责任，而忽略其他类别。
通往更好决策的道路
在内部使用时，成熟度模型可以帮助组织确定他们在负责任的AI方面的立场，并确定改进其治理的步骤。该模型使公司能够设定目标，并通过重复评估来跟踪他们的进展。投资者、买方、消费者和其他外部利益相关者可以使用该模型来为有关公司及其产品的决策提供信息。
当由内部或外部利益相关者使用时，新的IEEE-USA成熟度模型可以补充NIST AI RMF，并帮助跟踪组织在负责任治理道路上的进展。
