纽约长老会医院AI治理与伦理实践总结

人工智能的伦理与策略：纽约长老会医院的经验

在人工智能（AI）快速发展的时代，许多企业面临着快速部署AI以证明其投资回报的压力。然而，真正具有影响力和变革性的AI应用需要战略性、谨慎和有目的的实施。纽约长老会医院（NYP）人工智能运营医疗总监Ashley Beecy博士深谙此道，她拥有IBM电路工程、花旗风险管理和心脏病学实践的丰富经验，将技术敏锐度与临床专业知识融为一体，负责监督NYP临床系统中AI模型的治理、开发、评估和实施，确保其负责任且有效地集成，以改善患者护理。

Beecy博士认为，对于2025年考虑采用AI的企业来说，AI战略必须注重以下三个方面：

负责任的AI开发的良好治理
以需求为导向，并以反馈为驱动
透明度是信任的关键

Beecy博士强调，有效的治理是任何成功AI项目的基础，确保模型不仅在技术上可靠，而且公平、有效和安全。AI领导者需要考虑整个解决方案的性能，包括它如何影响业务、用户甚至社会。为了确保组织衡量正确的成果，他们必须从一开始就明确定义成功指标。这些指标应直接与业务目标或临床结果相关联，但也应考虑意外后果，例如模型是否在强化偏见或导致运营效率低下。

基于她的经验，Beecy博士建议采用健全的治理框架，例如HHS HTI-1提供的公平、适当、有效、有效和安全（FAVES）模型。一个充分的框架必须包括1）偏差检测机制2）公平性检查和3）要求AI决策可解释性的治理政策。为了实施这样的框架，组织还必须拥有强大的MLOps管道，用于监控模型漂移，因为模型会随着新数据的更新而更新。

第一步也是最关键的一步是组建一个多元化的团队，将技术专家、领域专家和最终用户汇集在一起。“这些群体必须从一开始就协作，共同迭代以完善项目范围，”她说。定期沟通可以弥合理解上的差距，并使每个人都与共同目标保持一致。例如，为了开始一个旨在更好地预测和预防心脏衰竭（美国主要的死亡原因之一）的项目，Beecy博士组建了一个由20名临床心脏衰竭专家和10名技术人员组成的团队。这个团队共同工作了三个月，以定义重点领域，并确保实际需求与技术能力之间的一致性。

Beecy博士还强调，领导者在定义项目方向方面发挥着至关重要的作用：

AI领导者需要培养一种以道德为基础的AI文化。这意味着要确保构建和部署模型的团队了解AI的潜在风险、偏见和伦理问题。这不仅仅是技术上的卓越，而是以一种有利于人们并符合组织价值观的方式使用AI。通过关注正确的指标并确保强大的治理，组织可以构建既有效又符合道德的AI解决方案。

Beecy博士主张从识别与核心业务或临床目标一致的高影响力问题开始AI项目。专注于解决实际问题，而不仅仅是展示技术。“关键是让利益相关者尽早参与对话，这样你就可以借助AI解决真实、切实的问题，而不仅仅是追逐潮流，”她建议。“确保有合适的数据、技术和资源来支持项目。一旦你有了结果，就可以更容易地扩展有效的方法。”

调整方向的灵活性也很重要。“在你的流程中建立一个反馈回路，”Beecy博士建议，“这可以确保你的AI项目不是静止的，而是不断发展，随着时间的推移提供价值。”

为了有效地利用AI工具，必须对其进行信任。“用户不仅需要了解AI的工作原理，还需要了解它为什么做出某些决定，”Beecy博士强调。

在开发一个预测住院患者跌倒风险的AI工具（每年影响美国医院100万名患者）时，她的团队发现与护理人员沟通算法的一些技术方面至关重要。

以下步骤有助于建立信任并鼓励采用跌倒风险预测工具：

开发教育模块：该团队创建了一个全面的教育模块，以配合该工具的推出。
使预测因素透明：通过了解算法中对患者跌倒风险贡献最大的权重预测因素，护士可以更好地理解和信任AI工具的建议。
反馈和结果共享：通过分享该工具的集成如何影响患者护理——例如跌倒率的降低——护士看到了他们努力和AI工具有效性的切实益处。

Beecy博士强调AI教育的包容性。“确保设计和沟通对每个人都易于理解，即使是那些不太熟悉技术的人。如果组织能够做到这一点，更有可能看到更广泛的采用。”

Beecy博士方法的核心是相信AI应该增强人类能力，而不是取代人类。“在医疗保健中，人情味是不可替代的，”她断言。目标是增强医患互动，改善患者预后，减轻医护人员的行政负担。“AI可以帮助简化重复性任务，改善决策，减少错误，”她指出，但效率不应以人为因素为代价，尤其是在对用户生活产生重大影响的决策中。根据Beecy博士的说法，AI应该提供数据和见解，但最终决定应该由人类决策者做出。“这些决定需要一定程度的道德和人类判断。”

她还强调了投入足够开发时间来解决算法公平性的重要性。仅仅忽略种族、性别或其他敏感因素的基线并不能确保公平的结果。例如，在开发一个产后抑郁症预测模型时——这是一种影响七分之一母亲的生命威胁性疾病，她的团队发现，包括种族等敏感人口统计属性可以带来更公平的结果。

通过对多个模型的评估，她的团队了解到，仅仅排除敏感变量，有时被称为“通过不知情实现公平”，可能不足以实现公平的结果。即使没有明确包含敏感属性，其他变量也可以充当代理，这会导致隐藏但仍然非常真实的差异。在某些情况下，通过不包含敏感变量，你可能会发现模型未能考虑医疗保健（或社会其他领域）中存在的某些结构性和社会不平等。无论哪种方式，重要的是要透明地说明如何使用数据，并制定保障措施以避免强化有害的刻板印象或延续系统性偏见。

集成AI应该伴随着对公平与正义的承诺。这意味着定期审计模型，让多元化的利益相关者参与其中，并确保这些模型做出的决定能够改善所有人的结果，而不仅仅是人口的子集。通过对偏见进行深思熟虑和有目的的评估，企业可以创建真正更公平、更公正的AI系统。

在快速采用AI的压力巨大的时代，Beecy博士的建议提醒我们，慢就是快。到2025年及以后，企业AI采用战略性、负责任和有目的的方法对于有意义项目的长期成功至关重要。这需要全面、主动地考虑项目的公平性、安全性、有效性和透明性，以及其直接盈利能力。必须从包括组织员工和客户以及整个社会在内的角度考虑AI系统设计和AI被授权做出的决定的后果。