美国联邦卫生技术监管机构于 12 月 13 日发布新最终规定,要求软件供应商披露人工智能(AI)工具的训练、开发和测试方式,以保护患者免受有关此类工具的护理偏见和有害决定的影响。
这些新规旨在为新一代 AI 模型设置护栏,使其在美国各地的医院和诊所得到快速采用。这些工具旨在帮助预测医疗卫生风险和紧急医疗问题,但公众对其有效性、可靠性或公平性知之甚少。
从 2025 年开始,开发或提供这些工具的电子健康记录供应商越来越多地使用机器学习人工智能,这些供应商将被要求向临床用户披露更多有关其性能和测试以及管理潜在风险所采取步骤的技术信息。
制定新规的努力早在拜登政府最近发布行政令加强对医疗保健和其它经济部门使用人工智能工具的监督之前就已经开始了,但行政令的颁布以及 AI 技术的快速发展给新规制定带来了新的紧迫性。
专注于预测模型的法规包含在更广泛的一揽子条款中,这些条款还寻求让数字存储的患者健康信息交换变得更容易,并防止软件供应商和医院囤积这些信息以保护其商业利益。新规由美国国家卫生信息技术协调员办公室(ONC)以及卫生部(HHS)制定,负责规范电子健康记录(EHR)和患者数据交换的使用。
ONC 在新规中写道,“鉴于由经过认证的医疗卫生 IT 开发商提供的在医疗保健领域使用的 AI 产品激增,我们认为现在是帮助优化 AI 和机器学习驱动的决策支持工具的使用和提高质量的好时机。”
Epic 和 Oracle-Cerner 等 EHR 供应商已开始分销 AI 模型来预测患者的死亡风险以及他们是否可能在医院病情恶化或出现败血症等危及生命的并发症。但在某些情况下,这些模型提供了有关这些工具性能的误导性信息,或者未能确保其在足够多样化的患者群体中进行了测试。例如,据调查发现,预测患者患败血症风险的 Epic 模型在许多卫生系统中的表现比宣传的要差,而且随着时间的推移,其性能显着恶化。
新规不适用于医院内部开发的帮助做出有关患者护理决策的 AI 模型。目前,只有一小部分最大的学术医院有能力构建和实施 AI工具。
相反,新规针对的是大型医疗卫生软件供应商,迫使他们解释用于训练 AI 模型的数据集的来源和内容、如何测试它们以及如何识别和减轻潜在危害。新规还要求供应商通过提供有关模型性能的最新信息以及管理风险所需的任何其它步骤来支持模型的持续维护。
在新规最终版本中,监管机构将 AI 透明度条款的范围缩小至电子病历供应商开发或向卫生系统和其他客户提供的模型上。新规的早期版本提议将透明度规则应用于其软件系统“启用或与之交互”的模型。这种语言引起了大量的反对,因为这句话可以被解释为几乎任何依赖于电子记录保存软件中包含的数据的预测模型。
虽然新的披露要求不适用于医院开发的预测模型,但 ONC 官员表示,如果医院希望共享此类模型的相关细节,则将要求医疗软件供应商支持披露这些模型的相关细节。