人们普遍认为，“人工智能必须值得信赖才能投入生产使用。”然而，在实际的工业界中，当开发和部署基于人工智能的解决方案时，信任往往被视作一个空泛的流行词。高准确率受到赞扬，华丽的演示吸引眼球，而治理则被视为事后诸葛。这种情况一直持续，直到人工智能事故引发负面公关，或诉讼让公司损失数百万美元。明智的商业领袖会未雨绸缪，在问题出现之前，就认真对待人工智能的安全性、可靠性和信任度。
在IEEE专题研讨会超越准确性：在生产中构建可信赖的人工智能上，五位在人工智能开发生命周期各个阶段经验丰富的从业者，分享了他们在实践中如何构建可信赖AI，同时部署能够推动业务指标增长的宝贵解决方案的经验。本文将由其中四位专家小组成员，各自探讨一个关于AI信任的常见迷思，并阐述构建可信赖、安全且成功AI项目所需了解的关键知识。
迷思1：“模型准确就值得信赖。”
“准确性仅仅是中间层；没有坚实的基础和透明度，信任就会崩塌。”
设想一下，您会信任乘坐一部号称100%准确、每次都能将您送达顶楼的华丽摩天大楼电梯吗？如果它的安全标准不透明，并且认证贴纸已经过期多年。准确性固然不可或缺，但它本身并不能保证安全性，更重要的是，无法确保其可信赖性。
人工智能系统也存在同样的问题。信用评分算法在实现高预测准确率的同时，却可能加剧系统性偏见。推荐引擎虽然优化了用户参与度，但缺乏韧性检查，从而可能放大错误信息。表面上看来准确性令人印象深刻，但信任却随之瓦解。
因此，准确性只是“信任三明治框架”中的一个层面，该框架是基于在IEEE多层质量控制论文中探讨过的理念构建的。以下各层确保了信任被融入到人工智能模型的每个环节中：
- 基础层：可扩展的数据处理——正如电梯需要坚固的缆绳和滑轮才能安全承载重量一样，AI系统也依赖于可扩展、可靠的数据管道。完备性（关键属性的覆盖范围）、及时性（数据新鲜度）和处理可靠性（故障率、吞吐量）等指标，确保基础设施能够在大规模部署中维持信任。
- 中间层：AI逻辑 + 性能指标——准确性属于此层，但它必须辅以公平性（例如，不同影响比率）、鲁棒性（对对抗性变化的敏感性）和韧性（从管道故障中恢复的平均时间）。
- 顶层：可解释性 + 透明度——张贴的检验合格证是说服人们乘坐电梯的关键。同样，可解释性指标，例如使用SHAP或LIME解释的预测百分比，能使AI输出对用户而言更易理解和更具可信度。当人类被纳入循环（Human-in-the-Loop）时，信任会进一步加深：通过验证模型输出并将反馈回馈到中间层，从而随着时间的推移不断增强性能和韧性。
在另一篇IEEE出版物《数据信任评分》中，这种思路被正式化为一种综合衡量标准，它整合了准确性、及时性、公平性、透明度和韧性。一个模型可能达到92%的准确率，但如果其及时性仅为65%，公平性为70%，那么信任评分便能揭示更全面的情况。
在输入数据分布发生漂移时，准确性可能保持稳定。漂移指标，如总体稳定性指数、KL散度或置信区间的变化，可作为早期预警，就像电梯传感器在故障发生前检测到缆绳磨损一样。
核心要点：信任是一种设计选择，必须融入人工智能系统的所有组件中。通过衡量信任指标并向最终用户公开，可信赖度能够提高AI系统的采用率。上述框架和指标为实现分层信任架构提供了实用的方法。
迷思2：“可观测性仅仅是监控仪表盘。”
“仪表盘并不能阻止故障；连接的可见性和响应能力才能。”
将可观测性仅仅视为一个监控仪表盘——几个图表展示模型准确率、延迟或使用情况——这确实很诱人。但在生产级人工智能中，尤其是在基于专有数据、大型语言模型（LLMs）和检索系统构建的复杂管道中，这种观点具有危险的局限性。
现实世界的故障模式很少能在仪表盘上清晰地显现。上游的模式更改可能会悄无声息地破坏特征集。管道延迟可能导致过时信息传播到检索索引中，从而产生误导性聊天机器人。模型或提示词的更新常常导致智能体行为发生意想不到的变化，进而一夜之间降低输出质量。评估结果在总体上可能看起来“健康”，但在特定场景下仍会产生幻觉。与此同时，仪表盘可能持续显示正常，直到客户首次发现问题。
这就是为什么可观测性必须扩展到整个系统：包括数据、系统、代码和模型。故障可能源于这些层中的任何一个，如果没有关联的可见性，就可能面临追逐症状而非识别根本原因的风险。在人工智能系统中，维持信任不仅关乎监控模型性能，更在于确保输入和管道的可靠性。
同样重要的是，可观测性不仅关乎追踪什么，更在于如何响应。这项准则与站点可靠性工程（SRE）非常相似：检测、分类、解决和衡量。自动化监控器和异常检测对于提升速度至关重要，但仅凭自动化并不能解决所有问题。操作实践——如事件手册、人机协作的故障分类以及轮班值守——才是将检测转化为解决方案的关键纽带。通过衡量每次事件并从中学习，团队能够使系统更具韧性，避免重复相同的错误。
核心要点：人工智能中的可观测性并非旨在创建美观的图表；它关乎于培养组织能力，持续检测、诊断并解决整个数据和AI堆栈中的故障。自动化与严谨操作相结合，正是确保质量、可靠性并最终建立信任的关键。
迷思3：“治理会减缓创新速度”
“安全的试验场和铺设好的路径，能加速而非减缓负责任AI的采纳。”
有效的治理，常被误解为阻碍进步的制动器，但实际上，它如同一个助推器，加速创新，同时确保信任与负责任的AI应用并行不悖。
安全的实验空间：实验是创新的燃料。有效的治理策略能促进创建安全的探索AI能力的环境。例如，设立结构化的实验区，如带有专用AI沙盒的内部黑客马拉松，可以在受控条件下进行必要的监督，从而建立信心。
通过“铺设路径”构建信任：促进负责任创新的最有效途径之一是启用预先批准和标准化的工作流程、工具和库。这些“铺设路径”经过治理团队的审查，并内置了隐私、安全和合规性保障。这种方法使团队能够专注于构建创新能力，而不是在安全和合规性的不确定性和摩擦中挣扎。
鼓励透明度和一致性：透明度对于建立信任至关重要，而有效的沟通是实现这一目标的基础。尽早并频繁地召集来自法律、安全、隐私、人权、可持续性、产品和工程等领域的利益相关者，就负责任的AI采纳的内部指导达成一致，有助于理解限制背后的“是什么”和“为什么”。AI风险需要像数据隐私或云安全一样严肃对待。特别是生成式AI技术引入了新的攻击面和滥用渠道，因此积极的风险感知和缓解措施变得势在必行，正如IEEE论文《AI、网络犯罪与社会：弥合威胁与防御之间的差距》中讨论的那样。
核心要点：“铺设路径”和持续沟通将治理的观念从障碍转变为跑道。它们为团队提供了经过验证的构建模块，使其能够更快、迭代地进行开发，同时仍遵守治理要求。这种方法在降低风险和摩擦的同时促进创新，促使人们安全地将重心从“我们能否做到？”转向“我们是否应该做到？”
迷思4：“负责任的AI只关乎合规性。”
“伦理AI是每个人的责任，而不仅仅是工程师的。”
为生产环境开发人工智能既充满挑战又令人兴奋，这涉及到利用复杂的机器学习策略解决商业问题。然而，将一个可行的解决方案转变为一个负责任、符合伦理的方案，需要付出更多努力。
一项技术是否能立即完成摆在我们面前的任务，并非唯一的考量——这对于人工智能或其他任何事物都适用。应对自身行为的外部性负责。这可能包括宏观层面的重大社会影响，也包括组织层面或个体层面的影响。如果部署一个未经客户同意使用客户数据，或可能无意中泄露个人身份信息（PII）的模型，就会产生风险，导致个体受害、法律和财务责任，以及潜在的品牌声誉毁灭。
虽然可以从GDPR、CCPA和欧盟AI法案等法律法规框架中获得有益指导，但不能完全依赖立法者来完成所有思考。法律框架无法涵盖所有可能出现问题的场景，并且常常需要根据技术现实进行解释和应用。例如，模型不应利用受保护特征来决定人们的机会或资源获取。如果被要求构建一个评估消费者数据的模型，则需要弄清楚如何（或是否！）能够构建该模型，以确保受保护特征不会成为决策的驱动因素。这可能需要精选输入数据，或者对输出施加严格的防护措施。同时，可能还需要告知最终用户这一原则，并教育他们如何识别歧视性输出，以防数据中出现意外情况。
但这不仅仅是工程师的责任。所有参与AI开发生命周期的人员，如产品、信息安全和法务部门，都应该充分了解AI产品的真实能力，并认识到错误或意想不到的影响始终是一种风险。通常，即使模型完全按照设计运行，也可能产生负面的意外副作用，因为这些情况在训练过程中并未被考虑在内。这就是为什么在规划和架构设计中，让组织内来自不同视角和背景的人员参与进来至关重要。不同的观点可以发现盲点，并防止意想不到的风险，特别是对代表性不足群体或边缘化社区的风险，被带入生产环境。
核心要点：伦理AI的开发是所有参与AI解决方案生产人员的共同责任。模型即使没有失败也可能产生意想不到的副作用，因此在开发过程中应咨询多元化的观点。
总结思考
可信赖的人工智能并非一个可以在最后阶段添加的单一功能；它是一种分层实践。从构建可靠的数据管道到普及可观测性，再到嵌入治理，以及负责任的设计，生命周期中的每一步都决定了用户和利益相关者对系统信赖的程度。
本文中的专家们都认同一点：信任并非自动产生。它是通过指标、框架和组织实践精心构建的，旨在使人工智能更加安全和富有韧性。
随着生成式和智能体AI系统日益嵌入关键工作流程，炒作与持久采用之间的区别将归结为一个问题：人们是否足够信任该系统并愿意依赖它？
答案不在于将模型的准确率推到99%，而在于构建一种文化、流程和保障措施，确保人工智能系统从一开始就透明、富有韧性且负责任。
