照片:Jane Sobel Klonsky/Getty Images
谷歌在周二的 Check Up 活动中发布了多项公告,包括发布用于胸部 X 光检查的新 MedLM、Fitbit Labs 个性化方面的进步以及发布皮肤状况图像网络 (SCIN)。
Google Health 首席健康官 Karen DeSalvo 博士通过强调人工智能在医疗保健领域的使用增加,拉开了 Check Up 活动的序幕。
“我们正处于人工智能的拐点,我们可以看到它在全球范围内改变健康的潜力,”德萨尔沃说。
去年,谷歌推出了经过医学调整的法学硕士 MedLM,这是基于 Med-PaLM 2 构建的两个基础模型,旨在回答医学问题、从非结构化数据中生成见解并总结医学信息。
德萨尔沃说:“很明显,未来人工智能不会取代医生,但使用人工智能的医生将取代不使用人工智能的医生。” “我们必须记住,人工智能只是一种工具,归根结底,健康是人类的。”
用于胸部 X 光检查的 MedLM
谷歌工程与研究副总裁 Yossi Matias 表示,语言只是一个维度,本质上是多模态的,因此必须构建能够无缝分析各种数据类型的系统。
“我们正在扩展我们的 MedLM 系列模型,以包括多模式模式,首先是用于胸部 X 射线的 MedLM,可在 Google Cloud 上进行实验预览,”Matias 说。
用于胸部 X 射线的 MedLM 将实现对结果进行分类、语义搜索等,目标是提高放射科医生的工作流程效率。
临床工作流程
在临床方面,Google Cloud 医疗保健解决方案总监 Aashima Gupta 和 HCA Healthcare 护理转型和创新高级副总裁 Michael Schlossr 博士宣布开展合作,将 Google 的人工智能与 HCA 的临床专业知识结合起来。
HCA 正在使用该技术吸引患者并改进管理工作流程,例如文档和医疗记录摘要。
谷歌杰出科学家兼高级研究总监 Greg Corrado 表示,该公司还一直在评估和微调医疗保健领域的 Gemini 模型,特别是在高级推理方面;长上下文窗口任务,例如筛选文本以提取相关信息来回答有关患者病史的问题;多模态,即跨图像、音频和文本等多种数据类型吸收和推理的能力。
科拉多说,医学本质上是多模式的,医疗保健专业人员经常解读多种来源的信号,包括医学图像、临床记录、电子健康记录和实验室测试。
“作为原理证明,我们建立了一个模型,可以根据一组开放获取的去识别化胸部 X 光片生成放射学报告。我们发现,我们的模型生成的大多数报告在质量上与放射科医生相当。 ’报道,”他说。
对于更复杂的任务,例如 3D 脑 CT 报告生成,独立临床医生认为模型生成的报告与手动创建的报告相当或更好。
尽管如此,他指出,尽管该技术显示出希望,但人工智能尚未准备好独立生成放射学报告,但表明是时候考虑人工智能协助放射科医生生成报告的能力了。
人工智能与健康公平
分析评估人工智能的结果至关重要,而健康公平对于确保人工智能模型弊大于利至关重要。
谷歌健康公平和产品包容性总监 Ivor Horn 博士表示:“我们一直在探索人工智能是否可以帮助人们更好地了解他们的皮肤病问题或担忧。”
“一路走来,我们意识到许多现有的皮肤病学数据集主要包括皮肤癌和其他几种疾病,但缺乏过敏反应等常见问题。此外,图像通常是在临床环境中捕获的,可能无法反映图像的多样性,包括不同的部位身体、不同肤色等等。”
作为回应,谷歌建立了一个名为皮肤状况图像网络(SCIN)的数据集,其中包含具有不同状况水平的不同人群的肤色。
该数据集是与斯坦福大学医学院联合开发的,并将向所有人开放。
霍恩说:“数千人贡献了照片,帮助建立一个开放获取的数据集,其中包含 10,000 多张皮肤、指甲和头发的图像。” “皮肤科医生然后用可能的诊断标记这些去识别化的图像。然后,他们根据两个肤色等级对它们进行评级,以确保数据集包含广泛的状况和皮肤类型集合。”
人类基因组测序
此外,该公司的研究团队一直致力于改进基因组测序,以识别个人 DNA 的差异,例如识别一个人患乳腺癌的风险是否较高的标记。
该公司与斯坦福大学合作研究使用 DeepVariant 来帮助在比标准护理更短的时间内识别重症 NICU 病例的致病变异。
DeepVariant 是一种分析管道,使用神经网络和成像分类从 DNA 测序数据中识别遗传变异。
谷歌的 Shravya Shetty 表示:“我们的开源分析工具 DeepConsensus 和 DeepVariant 为人类泛基因组计划做出了重要贡献。这创建了一个新的人类参考基因组,其中包含具有不同祖先的多个个体的序列。”工程主任。
这使得人们能够更广泛地了解人类基因组,从而使科学发现能够更加包容来自所有背景的个体。
个人健康法学硕士
关于可穿戴设备,谷歌宣布正在将个人人工智能融入其产品组合中,以便高级用户了解他们的个人健康指标,包括在 Fitbit 实验室推出实验性人工智能功能。
Fitbit Labs 将汇集用户的多模式时间序列健康数据。用户将能够为他们希望可视化的数据点生成图表。
用户将能够在自由形式的聊天空间中与见解进行交互,以了解其健康的不同方面如何相互关联或相互作用。
这些功能将于今年晚些时候向在移动应用程序中注册 Fitbit Labs 计划的有限数量的用户提供。
“我们希望通过人工智能提供更加个性化的健康体验,因此我们正在与谷歌研究、健康和保健专家医生以及认证教练合作,创建个人健康大语言模型,该模型可以推理健康和健身数据,并提供类似的定制建议。私人教练的方式,”唐说。
“这个私人教练 LLM 将是我们 Gemini 模型的微调版本。该模型使用基于来自 Fitbit 的去识别化多样化健康信号的高质量研究案例研究进行微调,将帮助用户根据以下模式获得更量身定制的见解:睡眠时间表、运动强度、心率变异性变化、静息心率等等。”
唐表示,个人健康法学硕士将为科技巨头产品组合中未来的人工智能功能提供动力,让用户拥有更个性化的健康功能。