问答:为什么心理健康聊天机器人需要严格的安全护栏

问答:为什么心理健康聊天机器人需要严格的安全护栏

Wysa 联合创始人 Jo Aggarwal 和 Ramakant Vempati

照片:威萨

心理健康仍然是数字健康投资者的主要临床关注点。这个领域有很多竞争,但这对医疗保健系统来说仍然是一个巨大的挑战:许多美国人生活在缺乏心理健康专业人员的地区,从而限制了获得护理的机会。

Wysa 是一个人工智能支持的聊天机器人的制造商,旨在帮助用户克服焦虑、压力和情绪低落等问题,最近宣布筹集 2000 万美元的 B 系列资金,不久之后这家初创公司获得 FDA 突破性设备指定使用其工具帮助患有慢性肌肉骨骼疼痛的成年人。

该公司的联合创始人兼总裁 Ramakant Vempati 与MobiHealthNews坐下来讨论聊天机器人的工作原理、Wysa 用于监控安全和质量的护栏以及最新一轮融资后的下一步计划。

MobiHealthNews:为什么您认为聊天机器人是缓解焦虑和压力的有用工具?

Ramakant Vempati:可访问性与它有很大关系。在 Wysa 的早期旅程中,我们收到了一位家庭主妇的反馈,她说:“看,我喜欢这个解决方案,因为我和家人坐在电视机前,我做了一整节 CBT [认知行为疗法],并且没有人必须知道。”

我认为这确实是隐私、匿名和可访问性。从产品的角度来看,用户可能会或可能不会直接考虑它,但我们在产品中内置的安全性和护栏以确保它适合健康环境中的用途是我们提供的价值的重要组成部分.我认为这就是你如何创造一个安全的空间。

最初,当我们推出 Wysa 时,我不太确定这会如何。当我们在 2017 年上线时,我想,“人们真的会和聊天机器人谈论他们最深、最黑暗的恐惧吗?”你在客户服务环境中使用聊天机器人,比如银行网站,坦率地说,这种体验还有很多不足之处。所以,我不太确定这将如何被接收。

我想在我们推出五个月后,我们收到了一封来自一位女孩的电子邮件,她说当没有其他人时,它就在那里,这帮助挽救了她的生命。她不能和其他任何人说话,一个 13 岁的女孩。当那件事发生时,我认为那是一分钱下降的时候,就我个人而言,作为创始人。

从那时起,我们经历了从想法到概念再到产品或业务的三个阶段的演变。我认为第一阶段一直在向我们自己证明,真正说服自己,用户喜欢它并且他们从服务中获得价值。我认为第二阶段是在临床结果方面证明这一点。因此,我们现在有 15 篇经过同行评审的出版物,要么已发表,要么正在准备中。我们与 NHS 和哈佛等合作伙伴一起参与了六项随机对照试验。然后,我们在慢性疼痛方面的工作获得了 FDA 突破性设备指定。

我认为所有这些都是为了证明和创建证据基础,这也让其他人相信这是有效的。然后,第三阶段正在扩大规模。

MHN:您在产品中提到了护栏。你能描述一下那些是什么吗?

Vempati:第一,当人们谈论人工智能时,会有很多误解,也有很多恐惧。当然,也有一些怀疑。我们对 Wysa 所做的是,从某种意义上说,人工智能是放在一个盒子里的。

在我们使用 NLP [自然语言处理] 的地方,我们使用 NLU(自然语言理解)来理解用户上下文并理解他们在说什么以及他们在寻找什么。但是当它响应用户时,它是一个预编程的响应。对话由临床医生撰写。因此,我们有一个临床医生团队实际编写内容,我们对此进行了明确的测试。

所以,第二部分是,鉴于我们不使用生成模型,我们也非常清楚人工智能永远不会 100% 捕捉到某人所说的话。总会有人们说一些模棱两可的话,或者他们会使用嵌套或复杂的句子,而人工智能模型将无法捕捉到它们。在这种情况下,每当我们编写脚本时,您的意图是当您不理解用户在说什么时,不会触发响应,也不会造成伤害。

为此,我们还有一个非常正式的测试协议。我们遵守英国 NHS 使用的安全标准 我们拥有庞大的临床安全数据集,我们使用该数据集是因为我们现在在该平台上进行了 5 亿次对话。所以,我们有大量的对话数据。我们有一部分数据,我们知道人工智能永远无法捕捉到这些数据。每次我们创建一个新的对话脚本时,我们都会使用这个数据集进行测试。如果用户说这些话怎么办?会有什么反应?然后,我们的临床医生会查看反应和对话,并判断反应是否适当。

MHN:当你宣布你的 B 系列时,Wysa 说它想增加更多的语言支持。您如何确定要包含哪些语言?

Vempati:在 Wysa 的早期,我们曾经让人们写信,自愿翻译。我们让来自巴西的人写信说:“看,我会说双语,但我妻子只会说葡萄牙语。我可以为你翻译。”

所以,这是一个很难的问题。你的心很痛,特别是对于人们得不到支持的低资源语言。但是不仅翻译需要做很多工作,而且这几乎是改编。这几乎就像构建一个新产品。所以,你需要非常小心你所采取的措施。它不仅仅是一种静态的一次性翻译。您需要不断地观察它,确保临床安全性到位,并且随着时间的推移不断发展和改进。

因此,从这个角度来看,我们正在考虑几种语言,主要受市场需求和我们强大的地方的驱动。因此,它结合了市场反馈和战略重点,以及产品可以处理的内容,在哪些地方更容易在具有临床安全性的特定语言中使用人工智能。

MHN:您还注意到您正在考虑与消息服务 WhatsApp 集成。这种整合将如何运作?您如何管理隐私和安全问题?

Vempati: WhatsApp 现在对我们来说是一个非常新的概念,我们正在探索它。我们非常非常了解隐私要求。 WhatsApp 本身是端到端加密的,但是,如果你打破匿名的面纱,你如何以负责任的方式做到这一点?您如何确保自己也遵守所有监管标准?这些都是目前正在进行的对话。

但我认为,在这个阶段,我真正想要强调的是我们正在非常非常小心地做这件事。 WhatsApp 的机会让人们非常兴奋,因为在世界的大部分地区,这是主要的交流方式。在亚洲,在非洲。

想象一下在没有心理健康支持的服务不足的社区中的人们。从影响的角度来看,这是一个梦想。但这是早期阶段。

本文来自互联网,不代表前途科技立场,如若转载,请注明出处:https://accesspath.com/tech/5770155/

(0)
董建的头像董建
上一篇 2022年7月29日 下午10:32
下一篇 2022年7月30日 上午12:30

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注